MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

Изключение при свързване към mongodb в spark

Мисля, че открих проблема:mongodb-hadoop има "статичен" модификатор на своите екземпляри на BSON енкодер/декодер в core/src/main/java/com/mongodb/hadoop/input/MongoInputSplit.java. Когато Spark работи в многонишков режим, всички нишки се опитват и десериализират, като използват същия екземпляри на енкодер/декодер, което предвидимо има лоши резултати.

Корекция в моя github тук (са изпратили заявка за изтегляне нагоре)

Вече мога да стартирам 8-ядрен многонишков Spark->mongo collection count() от Python!



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Lumen и MongoDB?

  2. писане на синтаксис на mongoDB

  3. преобразувайте времевия печат на UTC във всеки друг часови печат на зона

  4. Не мога да накарам mongoose-unique-validator да работи

  5. Junit/Fongo:Как да използваме Fongo в модулния тест за проверка на NotNull