Използвайте rowid псевдоколона.
DELETE FROM your_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM your_table
GROUP BY column1, column2, column3);
Където column1 , column2 и column3 съставете идентификационния ключ за всеки запис. Можете да изброите всичките си колони.