Използвайте BINARY
ключова дума, която налага REGEXP
за съпоставяне на низа като двоичен низ, което се прави с чувствителност към главни и малки букви.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Въпреки че това не е изрично посочено в документите (че можете да го направите с обикновен низ), според моя опит работи според очакванията.