MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

Разпределен официален Mongodb Kafka Source Connector с множество задачи Не работи

Изглежда това е поведението на официалния MongoDB Kafka Source Connector. Това е отговорът, който получих в друг форум от Рос Лоули (разработчик на MongoDB):

Преди 1.2.0 само една задача се поддържаше от конектора за приемник. Конекторът за източник все още поддържа само една задача, това е така, защото използва един курсор за промяна на потока. Това е достатъчно, за да наблюдавате и публикувате промените в целия клъстер, в цялата база данни или до една колекция.

Вдигнах този билет:https://jira.mongodb.org/browse/KAFKA-121 Получих следния отговор:Конекторът източник ще генерира само една задача. Това е по проект, тъй като конекторът източник е подкрепен от поток от промени. Потоците за промяна вътрешно използват същите данни, използвани от механизма за репликация и като такива трябва да могат да се мащабират, както прави базата данни. Няма планове да се разрешат множество курсори, но ако смятате, че това не отговаря на вашите изисквания, тогава можете конфигуриране на множество конектори и всеки ще има свой собствен курсор на потока за промяна.




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. MongoDb агрегиране Групиране по дата

  2. Mongodb - свързване чрез ODBC

  3. Mirth се свързва с mongo db свързаност

  4. Планирайте работата на Node.js на всеки пет минути

  5. Добавете множество стойности с помощта на $addToSet Mongo оператор