Тъй като символът \ се използва от самия оператор LIKE, трябва да го удвоите, когато го използвате, за да екранирате друг знак като двойните кавички.
SELECT * FROM table_name WHERE column_name LIKE "%\\"%";
трябва да работи за вас.
както и промяната на двойните кавички с единични кавички, за да оградите литерала
SELECT * FROM table_name WHERE column_name LIKE '%"%';
както сте публикували тук