MySQL REGEXP/RLIKE е гадно за това - трябва да прехвърлите данните as BINARY
за търсене с чувствителност към малки и големи букви:
SELECT *
FROM datatbl
WHERE CAST(strfield AS BINARY) rlike '[a-z]*';
Ще намерите това повдигнато в коментарите за документацията на REGEXP/RLIKE .