Натъкнах се на това с AWS Glue и Postgres. Имаше грешка в Spark 2.1.0, която го поправи за повечето хора, но някой публикува заобиколно решение в коментарите относно използването на опция за персонализирана схема .
Имах подобен проблем с AWS Glue и Spark SQL:изчислявах валутна сума, така че резултатът беше плаващ. Glue хвърли грешката Decimal precision 1 exceeds max precision -1 въпреки че Glue Data Catalog определи колоната като десетична. Взе страница от горното решение на customSchema чрез изрично прехвърляне на колоната като NUMERIC(10,2) и Spark спря да се оплаква.
