DELETE всички, където MySQL ограничението на външния ключ не е неуспешно

Трябва да LEFT JOIN референтната таблица и добавете условие, което казва, че редът липсва в тази таблица.

Например:

DELETE a FROM a
LEFT JOIN b ON b.a_id = a.id
WHERE b.a_id IS NULL;