Ускорете вмъкването на големи набори от данни от txt файл в mySQL с помощта на python

Две възможности за разглеждане:

1) най-лесното е да включите няколко реда от стойности в едно вмъкване. Това е много, много по-бързо от правенето на множество вмъквания.

Въвеждане на изпълнение на INSERT INTO tbl ( cols ) VALUES ( vals ) , направете нещо като INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

Количеството редове, които можете да вмъкнете наведнъж, зависи от максималния размер на пакета на mysql сървъра, но вероятно можете да направите 100, 1000, може би 10 000 реда безопасно и това трябва да ви даде увеличение на производителността с порядък или повече.

Вижте http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) ЗАРЕДЕТЕ ВХОДЯЩ ФАЙЛ С ДАННИ е малко по-различен, изисква повече работа и има свои собствени изисквания, но е много, много бърз.