Не можете да филтрирате редове с LOAD DATA INFILE, така че или ги филтрирайте чрез предварителна обработка на CSV файла, или заредете данните във временна таблица и вмъкнете съответните редове в основната си таблица, нещо като;
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)