Този проблем е разглеждан многократно в StackOverflow:
- Как да подобря производителността за бавни задачи на Spark с помощта на DataFrame и JDBC връзка?
- spark jdbc df limit... какво прави?
- Как да използвам JDBC източник за писане и четене на данни в (Py)Spark?
и във външни източници:
така че само да повторя - по подразбиране DataFrameReader.jdbc
не разпространява данни или чете. Използва една нишка, един изпълнител.
За разпространение на четения:
-
използвайте диапазони с
lowerBound
/upperBound
:Properties properties; Lower Dataset<Row> set = sc .read() .option("partitionColumn", "foo") .option("numPartitions", "3") .option("lowerBound", 0) .option("upperBound", 30) .option("url", url) .option("dbtable", this.tableName) .option("driver","com.mysql.jdbc.Driver") .format("jdbc") .load();
-
predicates
Properties properties; Dataset<Row> set = sc .read() .jdbc( url, this.tableName, {"foo < 10", "foo BETWWEN 10 and 20", "foo > 20"}, properties )