Използвам всички бази данни, които споменахте. За това натоварване мога да препоръчам MySQL или PostgreSQL, защото вече работих с още по-високо натоварване на PostgreSQL. Но MySQL също ще свърши същата работа - може би дори по-добре, защото е проектиран от самото начало за голямо натоварване при вмъкване.
Решението на PostgreSQL, с което работих, беше използвано за съхраняване на системни съобщения от телекомуникационна мрежа и успя да събере ~300GB данни на ден на една машина без проблеми. Но имате нужда от подходяща HW архитектура.
Имате нужда от машина с поне 8 CPU, но повече е по-добре и трябва да имате няколко опашки за вмъкване. Използвайте товарач в Java или C или golang с повече паралелни заплахи и направете групови вмъквания от всяка заплаха, като използвате командата COPY за ~10 000 записа наведнъж. Трябва да използвате набор от връзки, защото PostgreSQL има по-високи разходи за отваряне на нова връзка.
Също така ще ви помогне да разпределите данни в повече таблични пространства, всяко таблично пространство на отделен физически диск или по-добре на отделен физически дисков масив. Ако е възможно, не използвайте индекси върху необработени данни. Отделете необработените си данни от обобщените резултати.
Имахме друго решение, използващо разширение pl/proxy за PostgreSQL и няколко физически машини за необработени данни, разделени по време. Тази система успя да събере поне 1TB на ден, но с подходящо количество подчинени бази данни дори повече.
Но трябва да разберете, че за да обработите наистина това количество данни, ви е необходим подходящ хардуер с подходяща конфигурация. Няма вълшебна база данни, която да направи чудеса с някаква "конфигурация, подобна на лаптоп"...
InfluxDB е наистина страхотна база данни за времеви серии и я използваме за наблюдение. Вярвам, че с достатъчно процесори и наистина много памет ще можете да го използвате. Предполагам, че ще ви трябват минимум 64 GB RAM, защото вложките са по-скъпи за паметта. Така че с повече опашки за вмъкване базата данни ще се нуждае от много повече памет, защото съхранява всичко в паметта и прави автоматично индексиране на тагове.
