Можете да използвате частта SET от LOAD DATA INFILE и не се нуждаете от 0x екраниращите неща:
1, 1, 123456FF
2, 1, aabbcc
3, 1, ddeeff
След това присвоявате колоната на променлива и след това задавате колоната на UNHEXed версия на тази променлива:
LOAD DATA INFILE 'file' INTO TABLE `table` (column1, column2, @var1)
SET column3 = UNHEX(@var1)