MongoDB
 sql >> база данни >  >> NoSQL >> MongoDB

Как да конфигурирате размер на извадката на sparksession на Java Spark

Това е spark.mongodb.input.sampleSize

SparkSession spark = SparkSession.builder()
                .master("local[2]")
                .appName("SparkReadMgToHive")
                .config("spark.sql.warehouse.dir", warehouseLocation)
                .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
                .config("spark.mongodb.input.sampleSize", 50000)
                .enableHiveSupport()
                .getOrCreate();



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Отстраняване на неизправности в MongoDB на Windows (C#) (Какво да направя?)

  2. Mongo Connection Pooling (Промяна на размера на свързващия пул)

  3. Копирайте и преименувайте поле на документ в MongoDB

  4. Как да интегрираме Pyramid 1.1 и Mongo DB - възможно най-малко редове

  5. mongodb отказва връзка в python