Опитах DROP/ TRUNCATE
сценарий, но не са успели да го направят с връзки, вече създадени в Glue, а с чист драйвер на Python PostgreSQL, pg8000
.
- Изтеглете tar на pg8000 от pypi
- Създайте празен
__init__.py
в главната папка - Закопчайте съдържанието и го качете в S3
- Направете препратка към zip файла в
Python lib path
на работата - Задайте подробностите за връзката с DB като параметри на работа (уверете се, че сте добавили
--
пред всички имена на ключове ). Поставете отметка в квадратчето „Криптиране от страна на сървъра“.
След това можете просто да създадете връзка и да изпълните SQL.
import sys
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from awsglue.job import Job
import pg8000
args = getResolvedOptions(sys.argv, [
'JOB_NAME',
'PW',
'HOST',
'USER',
'DB'
])
# ...
# Create Spark & Glue context
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
# ...
config_port = 5432
conn = pg8000.connect(
database=args['DB'],
user=args['USER'],
password=args['PW'],
host=args['HOST'],
port=config_port
)
query = "TRUNCATE TABLE {0};".format(".".join([schema, table]))
cur = conn.cursor()
cur.execute(query)
conn.commit()
cur.close()
conn.close()