Mysql
 sql >> база данни >  >> RDS >> Mysql

MySQL файл с данни за зареждане - ускорение?

ако използвате innodb и групово зареждане, ето няколко съвета:

сортирайте вашия csv файл в реда на първичния ключ на целевата таблица:не забравяйте, че innodb използва клъстерирани първични ключове, така че ще се зарежда по-бързо, ако е сортиран!

типичен файл с данни за зареждане, който използвам:

truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

други оптимизации, които можете да използвате, за да увеличите времето за зареждане:

set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

разделете csv файла на по-малки парчета

типични статистически данни за импортиране, които наблюдавах по време на насипни товари:

3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Трябва да направя auto_increment поле в MySQL, което не е първичен ключ

  2. mysql транзакция - връщане назад при всяко изключение

  3. Намиране на безплатни слотове в система за резервации

  4. Как да използвате jQuery SlickGrid с PHP / MySQL (зареждане на сървърни данни и запазване на промените)

  5. Поръчайте няколко колони ASC