Търсих в мрежата решение, но не можах да намеря такова, така че ето какво измислихме (може да има по-добри начини, но поне това е начало, ако някой друг се натъкне на това).
Посочете dtype параметър в to_sql .
Преминахме от:df.to_sql(table_name, analytics_db) към df.to_sql(table_name, analytics_db, dtype={'name_of_json_column_in_source_table': sqlalchemy.types.JSON}) и просто работи.