PostgreSQL
 sql >> база данни >  >> RDS >> PostgreSQL

Sqoop на Dataproc не може да експортира данни във формат Avro

Проблемът може да е в различни версии на Avro в Hadoop на Dataproc (Avro 1.7.7) и Sqoop 1.4.7 (Avro 1.8.1).

Може да опитате да понижите Sqoop до 1.4.6, който зависи от Avro 1.7 и да използвате avro-tools-1.7.7.jar по време на изпращане на работа.

Редактирано:

За да разрешите проблема със зареждането на класове, трябва да зададете mapreduce.job.classloader=true при подаване на задание на Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. ГРЕШКА:разрешението е отказано за схемата user1_gmail_com на знак 46

  2. Как да генерирате оператора create table sql за съществуваща таблица в postgreSQL

  3. Postgres връзката е отказана от Openshift Tomcat 7 касета

  4. Подпълнете масиви с NULL до максимална дължина за персонализирана агрегатна функция

  5. Как да инсталирате Postgis към инсталация на Keg на [email protected] с помощта на Homebrew?