MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

JavaScript купчина от паметта при стрийминг на голям файл

Публикувам коментара си като отговор, тъй като реши проблема и може да бъде полезен за други, които имат затруднения при използването на xml-stream пакетирайте по този начин.

Въпросният collect методът причинява проблема, тъй като принуждава анализатора да събере всички екземпляри на обработения възел в масив, докато се анализират. collect трябва да се използва само за събиране на дъщерни елементи от определен тип от всеки възел, който се анализира. Поведението по подразбиране е да не се прави това (поради стрийминг характера на анализатора, който ви позволява да обработвате много гигабайтови файлове с лекота).

Така че решението беше да се премахне този ред код и просто да се използва endElement събитие.




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Четене, писане и съхраняване на JSON с Node на Heroku

  2. PyMongo и мултипроцесиране:ServerSelectionTimeoutError

  3. Макс и група в Mongodb

  4. Как да регистрирам AbstractMongoEventListener програмно?

  5. mongodb, pymongo, aggregate дава странен изход (нещо за курсора)