PostgreSQL
 sql >> база данни >  >> RDS >> PostgreSQL

Връзка на Pyspark с база данни на Postgres в ipython бележник

Не съм сигурен защо отговорът по-горе не работи за мен, но си помислих, че мога да споделя какво всъщност работи за мен, когато изпълнявам pyspark от ноутбук jupyter (Spark 2.3.1 - Python 3.6.3):

from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Замяна на съответстващ текст с regex с версия с главни букви в Postgresql

  2. Общо... с обрат

  3. създаването на разширение pg_cron в docker-entrypoint-initdb.d е неуспешно

  4. dblink не използва файла .pgpass

  5. PostgreSQL:count() или поддържане на брояч?