Как да премахнете дублиращи се елементи в MySQL с набор от данни от 20 милиона реда?

Можете да опитате това:

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

т.е. опитайте се да добавите UNIQUE INDEX към вашите колони и alter масата

Това има еднопредимство че в бъдеще също няма да има дублиращи се редове, които можете да вмъкнете във вашата таблица