имаме нашата mongo DB, която съхранява JSON данни. Искахме да мигрираме данни към Redshift за някои цели на заявки.
Използвахме mongoexport csv, за да създадем csv от mongo таблица и го качихме в S3. Създадохме съответната релационна схема в Redshift и използвахме команди за копиране, за да заредим тези csv данни от s3 в redshift.
Можем да използваме java apis, за да правим заявки към mongo и да създаваме и качваме csv в s3. Същото може да се зареди на червено отместване.
Истинският проблем е, че тъй като използваме mongo (json) или NoSQL, може да имаме различен брой колони за даден обект, който принадлежи към същата таблица (както JSON), но в Redshift имаме фиксиран брой колони на таблица, така че в такива случаи вие трябва да създадете всички възможни колони и да заредите данни. За тези обекти, които нямат всички колони, можем да попълним нулеви стойности за тях.
