MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

Spark Mongo конектор, MongoShardedPartitioner не работи

Съжалявам, че разбирам, че имате проблем с конектора.

Информация относно разделителите може да бъде намерена на сайта с документация за конектора на Spark . Моля, подайте заявка в проекта jira на Документи ако смятате, че нещо липсва или е неясно, това наистина може да помогне на бъдещи потребители!

Разделителят по подразбиране е тънка обвивка около MongoSamplePartitioner . Той разделя колекция на дялове с размер въз основа на статистическа извадка от колекцията.

MongoShardedPartitioner използва shardKey за генериране на дялове. По подразбиране ще използва _id като ключ. Може да се наложи да конфигурирате тази стойност.

Забележка: Хешираните shardkeys сане поддържан от MongoShardedPartitioner тъй като в момента няма начин да се направи заявка за колекция срещу хешираната стойност - така че при извличане на дялове няма да успее да върне резултати. Добавих DOCS-12345 за актуализиране на документацията.

Изглежда, че има проблем във вашата настройка, където MongoShardedPartitioner не успява да раздели колекцията според очакванията и връща 0 резултата. Изводът на схемата все още ще работи поради начина, по който прави запитвания към колекцията. Ако не е проблем с конфигурацията/хеширания shardkey, тогава проблемът, моля, подайте грешка в проекта Spark jira и аз мога да ви помогна да идентифицирате причината и да пусна решение за вас.




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Как да актуализирам подмножество от низ в MongoDB?

  2. Вложени релации MongoDb

  3. Защо получавам грешка 500. Съжаляваме, но нещо се обърка при изпращане на приложението ми към Heroku?

  4. Как да конвертирате дата в UTC в MongoMapper &Ruby/Rails?

  5. Групиране на документи по двойки с помощта на агрегиране на mongo