MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

Защо Spark Mongo конекторът не натиска надолу филтрите?

Това не е GreaterThan което причинява проблема ви, това е фактът, че филтърът е на вложено поле. Вашият филтър на doc_type работи, защото не е вложен. Това очевидно е проблем с двигателя Catalyst в Spark, а не с конектора Mongo. Той също така засяга предикатните натискания надолу в, например, Parquet.

Вижте следните дискусии в Spark Jira за повече подробности.

Spark 19638

Spark 17636




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Mongodb -- включете или изключете определени елементи с c# драйвер

  2. Rails Mongoid не успява да се удостовери - неуспешно с грешка 13:не е оторизиран за заявка в my_db.my_collection

  3. Не може да се запази състоянието на транзакцията, тъй като колекцията от транзакции на сесията липсва

  4. Какво е BSON и как точно се различава от JSON?

  5. MongoDb поточно предаване на вмъкнати данни в реално време (или почти в реално време)