MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

MongoDB:mongoimport губи връзка при импортиране на големи файлове

Предполагам, че проблемът е в производителността, използва се всеки начин, който можете да решите:

можете да използвате опция mongoimport -j . Опитайте да увеличите, ако не работите с 4. т.е. 4,8,16, в зависимост от броя на ядрото, което имате във вашия процесор.

mongoimport --помощ

-j, --numInsertionWorkers=брой операции на вмъкване, които да се изпълняват едновременно (по подразбиране е 1)

mongoimport -d mietscraping -c mails -j 4

или можете да разделите файла и да импортирате всички файлове.

Надявам се това да ви помогне.

като гледам малко повече, има грешка в някаква версия https://jira.mongodb.org/browse/TOOLS-939 тук друго решение можете да промените batchSize, за подразбиране е 10000, намалете стойността и тествайте:

mongoimport -d mietscraping -c имейли



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Как да запиша файл в MongoDB?

  2. Актуализирайте колекцията MongoDB с помощта на $toLower

  3. Ако имам идентификатор на документ mongo като низ, как да го потърся като _id?

  4. Как ефективно да изтриете документи чрез заявка в mongo?

  5. Сортиране без значение от главни букви в MongoDB