Spark не може да намери com.mongodb.spark.sql.DefaultSource пакет, оттук и съобщението за грешка.
Всичко останало изглежда добре, само трябва да включите пакета Mongo Spark:
> $SPARK_HOME/bin/pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
Или се уверете, че jar файлът е на правилния път.
Уверете се, че сте проверили версията на пакета Mongo-Spark, необходима за вашата версия на Spark: https://spark-packages.org/package/mongodb/mongo-spark
