Въпросът всъщност е как да нормализирате данните, когато очаквате да има дубликати. И след това избягвайте „изгарянето“ на идентификатори.
http://mysql.rjweb.org/doc.php/staging_table#normalization обсъжда процес от 2 стъпки и е насочен към масови актуализации поради високоскоростно поглъщане на редове. Той се изражда до един ред, но все още изисква 2-те стъпки.
Стъпка 1 INSERTs
всяко ново редове, създавайки нови идентификатори на auto_inc.
Стъпка 2 масово изтегля обратно идентификаторите.
Имайте предвид, че работата се извършва най-добре с autocommit=ON и извън основната транзакция, която зарежда данните. По този начин се избягва допълнителна причина за записване на идентификатори, а именно потенциално връщане назад.