Как да идентифицирате език в utf-8 колона в MySQL

Е, нека започнем с таблица, която поставих в тук . Пише, например, че E381yy е utf8 кодирането за Hiragana, а E383yy е Katakana (японски). (Канджи е друг въпрос.)

За да видите дали колона utf8 съдържа Katakana, направете нещо като

КЪДЕ HEX(col) REGEXP '^(..)*E383' 

Кирилица може да е

КЪДЕ HEX(col) REGEXP '^(..)*D[0-4]' 

Китайският е малко сложен, но това може обикновено работа за китайски (и канджи?):

КЪДЕ HEX(col) REGEXP '^(..)*E[4-9A]' 

(Ще променя заглавието ви, за да избегна ключовата дума „набор от знаци“.)

Западна Европа (включително, но не само, френски) C[23] , турски (приблизително и някои други) (C4|C59) , гръцки:C[EF] , иврит:D[67] , индийски и т.н.:E0 , арабски/фарси/персийски/урду:D[89AB] . (Винаги поставяйте префикс с ^(..)* .

Може да забележите, че те не са непременно много специфични. Това се дължи на припокривания. Британски английски и американски английски не могат да бъдат разграничени освен по правопис на няколко думи. Няколко ударени букви се споделят по различни начини в Европа. Индия има много различни набори от знаци:деванагари, бенгалски, гурмукхи, гуджарати и др.; те вероятно са различими, но ще са необходими повече изследвания. Мисля, че арабски/фарси/персийски/урду споделят един набор от знаци.

Още малко:

И така, за DEVANAGARI, '^(..)*E0A[45]'