Можете да направите няколко неща, за да постигнете това.
Един от начините е да използвате допълнителен аргумент, докато пишете в sql.
df.to_sql(method = 'multi')
Съгласно тази документация , предаването на 'multi' на аргумента на метода ви позволява да вмъквате групово.
Друго решение е да се създаде персонализирана функция за вмъкване с помощта на multiprocessing.dummy. ето връзката към документацията:https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.dummy
import math
from multiprocessing.dummy import Pool as ThreadPool
...
def insert_df(df, *args, **kwargs):
nworkers = 4 # number of workers that executes insert in parallel fashion
chunk = math.floor(df.shape[0] / nworkers) # number of chunks
chunks = [(chunk * i, (chunk * i) + chunk) for i in range(nworkers)]
chunks.append((chunk * nworkers, df.shape[0]))
pool = ThreadPool(nworkers)
def worker(chunk):
i, j = chunk
df.iloc[i:j, :].to_sql(*args, **kwargs)
pool.map(worker, chunks)
pool.close()
pool.join()
....
insert_df(df, "foo_bar", engine, if_exists='append')
Вторият метод беше предложен на https://stackoverflow.com/a/42164138/5614132 .
