Mysql
 sql >> база данни >  >> RDS >> Mysql

Създайте Spark Dataframe от SQL заявка

Намерих това тук Групова миграция на данни чрез Spark SQL

Параметърът dbname може да бъде всяка заявка, обвита в скоби с псевдоним. Така че в моя случай трябва да направя това:

val query = """
  (select dl.DialogLineID, dlwim.Sequence, wi.WordRootID from Dialog as d
    join DialogLine as dl on dl.DialogID=d.DialogID
    join DialogLineWordInstanceMatch as dlwim on dlwim.DialogLineID=dl.DialogLineID
    join WordInstance as wi on wi.WordInstanceID=dlwim.WordInstanceID
    join WordRoot as wr on wr.WordRootID=wi.WordRootID
    where d.InSite=1 and dl.Active=1
    limit 100) foo
"""

val df = sqlContext.format("jdbc").
  option("url", "jdbc:mysql://localhost:3306/local_content").
  option("driver", "com.mysql.jdbc.Driver").
  option("useUnicode", "true").
  option("continueBatchOnError","true").
  option("useSSL", "false").
  option("user", "root").
  option("password", "").
  option("dbtable",query).
  load()

Както се очакваше, зареждането на всяка таблица като своя собствена рамка от данни и присъединяването им в Spark беше много неефективно.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. PHP MYSQL PDO СУМА от колони

  2. Опции за динамичен избор на php и mysql

  3. Python, преобразувайте 4-байтов символ, за да избегнете грешка в MySQL Неправилна стойност на низа:

  4. Mysql, съхраняващ множество стойности в една колона от друга таблица

  5. Как да актуализирате изглед в MySQL