PostgreSQL
 sql >> база данни >  >> RDS >> PostgreSQL

AWS Glue - Скъсете целевата таблица postgres преди вмъкване

Опитах DROP/ TRUNCATE сценарий, но не са успели да го направят с връзки, вече създадени в Glue, а с чист драйвер на Python PostgreSQL, pg8000 .

  1. Изтеглете tar на pg8000 от pypi
  2. Създайте празен __init__.py в главната папка
  3. Закопчайте съдържанието и го качете в S3
  4. Направете препратка към zip файла в Python lib path на работата
  5. Задайте подробностите за връзката с DB като параметри на работа (уверете се, че сте добавили -- пред всички имена на ключове ). Поставете отметка в квадратчето „Криптиране от страна на сървъра“.

След това можете просто да създадете връзка и да изпълните SQL.

import sys
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from awsglue.job import Job

import pg8000

args = getResolvedOptions(sys.argv, [
    'JOB_NAME',
    'PW',
    'HOST',
    'USER',
    'DB'
])
# ...
# Create Spark & Glue context

job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# ...
config_port = 5432
conn = pg8000.connect(
    database=args['DB'], 
    user=args['USER'], 
    password=args['PW'],
    host=args['HOST'],
    port=config_port
)
query = "TRUNCATE TABLE {0};".format(".".join([schema, table]))
cur = conn.cursor()
cur.execute(query)
conn.commit()
cur.close()
conn.close()


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. ГРЕШКА:редът е твърде голям:размер 8168, максимален размер 8164

  2. Стойни параметри на Postgresql JDBC таблица

  3. Как да изпълним заявка за избор в DO блок?

  4. Съхраняване на PostgreSQL ARRAY от ENUM стойности

  5. Как да направя тригер за актуализиране на колона в друга таблица?