какъв е по-добрият начин за индексиране на данни от Oracle/релационни таблици в еластично търсене?

Използваме ES като база данни за отчитане и когато нови записи се записват в SQL, предприемаме следното действие, за да ги вкараме в ES:

1. Запишете първичния ключ в опашка (ние използваме rabbitMQ)
2. Rabbit взема първичния ключ (когато има време) и отправя запитвания към DB за връзка, за да получи информацията, от която се нуждае, и след това записва данните в ES

Този процес работи чудесно, защото обработва както нови, така и стари данни. За стари данни просто напишете бърз скрипт за запис на 300 милиона първични ключове в rabbit и сте готови!