Mysql
 sql >> база данни >  >> RDS >> Mysql

Начин за четене на таблични данни от Mysql към Pig

Както казвате, DBStorage поддържа само запис на резултати в база данни.

За да заредите данни от MySQL, можете да разгледате проект, наречен sqoop (която копира данни от база данни в HDFS) или можете да изпълните mysql dump и след това да копирате файла в HDFS. И двата начина изискват известно взаимодействие и не могат да се използват директно от Pig.

Трети вариант би бил да разгледате написването на Pig LoadFunc (вие казвате, че сте се опитали да напишете UDF). Не би трябвало да е твърде трудно, ще трябва да подадете почти същите опции като DBStorage (драйвер, идентификационни данни за връзка и SQL заявка за изпълнение) и вероятно можете да използвате някаква проверка на метаданни от набор от резултати, за да генерирате и схема автоматично.




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Избиране на един ред в MySQL

  2. Използване на Passport със Sequelize и MySQL

  3. Neo4j език за заявки - Cypher

  4. Предупреждение:mysql_result() очаква параметър 1 да бъде ресурс, като е дадено булево

  5. Таблицата не съществува след CREATE TABLE