PostgreSQL
 sql >> база данни >  >> RDS >> PostgreSQL

Създайте sql таблица от dask dataframe, като използвате map_partitions и pd.df.to_sql

Просто сте създали рамка от данни, която е предписание за работата, която трябва да се извърши, но не сте я изпълнили. За да изпълните, трябва да извикате .compute() върху резултата.

Обърнете внимание, че изходът тук всъщност не е рамка с данни, всеки дял се оценява на None (защото to_sql няма изход), така че може да е по-чисто да изразите това с df.to_delayed , нещо като

dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
       for d in ddf.to_delayed()]
dask.compute(*out)

Също така имайте предвид, че дали получавате добър паралелизъм ще зависи от драйвера на базата данни и самата система за данни.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Изчисляване на проценти със заявка GROUP BY

  2. Как да направите резервно копие на функции само в Postgres

  3. Изтриване на дублиращи се редове от таблицата

  4. Как мога да задействам тригер в края на верига от актуализации?

  5. sql генерира уникално име на таблица/изглед