Вашето използване на --packages аргументът е грешен:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Трябва да е под формата на groupId:artifactId:version както предполага изходът. Не можете да използвате URL с него.
Пример за използване на mongoDB с spark с поддръжката на вграденото хранилище:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Ако настоявате да използвате свой собствен буркан, можете да го предоставите чрез --repositories . Стойността на аргумента е
Например във вашия случай може да е
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
