Redis или Kafka или XYZ могат да се използват като буфер в стека ELK, както правилно сте забелязали.
Хората от ES публикуваха вчера публикация в блога за използването на Kafka в процес на разработка, но това също можеше да бъде Redis или XYZ. Те имат добра идея за КОГА такъв буфер може да е необходим и когато не е.
Добра идея е да имате такъв буфер, за да
- обработвайте пикове на събития
- справете се с потенциално недостижим ES клъстер
Ако не очаквате такова поведение, т.е. знаете
- вашите събития винаги ще идват със същата скорост и/или
- добре сте, че вашите регистрационни файлове се изпращат малко по-късно, в случай че трябва да надстроите своя ES клъстер
...тогава нямате нужда от такъв буфер. Нещо повече, това ще бъде един софтуер по-малко, който трябва да управлявате, наблюдавате и поддържате.
Когато става въпрос за екосистемата Elastic Stack, няма универсален подход, винаги зависи от вашия точен случай на използване и изисквания. Трябва да се запитате какво е важно за вас, вашата система(и) и вашите потребители и след това да проектирате решението си съответно.