Как да импортирате голям XML файл (~10GB) в PostgreSQL

1. Конвертирайте XML файл в CSV файл. Също така, когато конвертирате, го разделете на части от 100Mb-1Gb за по-лесно групиране.

2. Създайте таблицата с колони, които сте дефинирали в CSV файла.

3. Качете файла(овете) в Postgres с КОПИРАНЕ команда. Това е най-бързият начин за качване на голямо количество данни, който знам. Между другото, може да се направи и от Java с CopyManager клас.

В зависимост от вида на заявките, които ще изпълнявате, ще искате да създадете индекси:

1. Това ще бъде най-отнемащата време част. Можете обаче да използвате СЪЗДАВАНЕ НА ИНДЕКС ЕДНОВРЕМЕННО . Това ще ви позволи да работите с вашата таблица, докато индексът се създава във фонов режим.

2. Ако повторите процеса на импортиране и вече сте създали таблицата и индексите, изтрийте индексите, преди да издадете командата COPY, и ги създайте отново по-късно. Това ще ви спести много време.

3. Ако все още не сте доволни от скоростта на вашите заявки или скоростта на създаване на индекси, може би е добра идея да използвате Clickhouse вместо. Зависи обаче какъв вид заявки изпълнявате.