Navistar е водещ световен производител на товарни камиони. С автопарка от 350 000 превозни средства, непланирана поддръжка и повреди на превозни средства създават непрекъснати смущения в бизнеса им. Navistar се нуждаеше от платформа за диагностика, която да им помогне да предвидят кога превозното средство се нуждае от поддръжка, за да сведе до минимум времето за престой. Тази платформа трябваше да може да събира, анализира и обслужва данни от над 70 телематични и сензорни данни от всяко превозно средство в техния парк, включително данни за измерване на производителността на двигателя, температурата на охлаждащата течност, скоростта на камиона и износването на спирачките. Navistar се обърна към Cloudera, за да помогне за изграждането на поддържаща IoT платформа за отдалечена диагностика, наречена OnCommand® Connection, за да следи здравето на техните превозни средства и да увеличи времето за работа на превозните средства.
Този блог демонстрира използването на подобни технологии за справяне с проблеми, много по-малки по обхват, но с паралели на тези, с които се сблъсква Navistar. Данните бяха изтеглени от силно модифициран, високопроизводителен Corvette (виж Фигура 1), за да се покажат стъпките за зареждане на данни от външен източник, форматирането им с помощта на Apache NiFi, избутването им към източник на поток чрез Apache Kafka и съхраняването им с помощта на Apache HBase за допълнителен анализ.
Фигура 1. Корвета 2008 г. с модифициран 6,8-литров двигател
За този конкретен пример, въпросният Corvette е подменил всички оригинални фабрични компоненти на двигателя в полза на части с по-висока производителност. Двигателят беше съборен до корпуса си, цилиндрите бяха пробити, коляновият и разпределителният вал са сменени и бяха монтирани нови бутала и свързващи пръти, преследвайки целта от ~600 конски сили (виж Фигура 2). За да работи правилно тази нова конфигурация на двигателя, софтуерът на двигателя е претърпял пълен ремонт. Докато натискането на газта стана значително по-драматично, непредвидена последица беше, че оригиналните системи за диагностика и грешки на автомобила вече не бяха точни и следователно трябваше да бъдат деактивирани.
Фигура 2. Реконструкция по средата на двигателя с всички нови лъскави вътрешни
За да се уловят и анализират данните от сензорите на Corvette, беше необходим път, по който данните да потекат от автомобила към алтернативна платформа за анализ и диагностика. Първата стъпка беше да свържете лаптоп към диагностичния порт на Corvette (вижте Фигура 3), за да импортирате сензорни данни в облачно място за съхранение. S3 беше използван за този проект.
Фиг. 3. Лаптоп, свързан към диагностичен порт чрез USB
Следващата стъпка беше да се използва Cloudera Data Platform (CDP), многофункционалната, мулти-аналитична платформа на Cloudera, за достъп до услугите, необходими за преместване на данните до крайната им дестинация за съхранение за допълнителен анализ. С помощта на CDP Public Cloud бяха създадени 3 центъра за данни, като всеки хоства набор от предварително опаковани услуги с отворен код (вижте Фигура 4):
- Първата настройка беше NiFi, услуга, която е създадена за автоматизиране и управление на потока от данни. NiFi беше използван за импортиране, форматиране и преместване на данните на Corvette от източника до крайната му точка за съхранение.
- Следващото беше настройването на Kafka, услуга за стрийминг в реално време, която позволява големи обеми данни да бъдат налични като поток. Kafka дава възможност за поточна обработка на данните, като същевременно позволява на други потребители да се абонират за потоците от данни. В този пример няма абонати; обаче това е важна концепция, която заслужава демонстрация как да я настроите.
- Окончателната настройка беше HBase, силно мащабируема, ориентирана към колони оперативна база данни, която осигурява достъп за четене/запис в реално време. След като данните бъдат импортирани в HBase, Phoenix ще се използва за запитване и извличане на данни.
Фигура 4. Диаграма на потока от данни на Corvette от източник до заявка.
Изграждането на диагностична платформа с помощта на CDP за наблюдение на здравето и производителността на Corvette беше успешно упражнение. Използването на NiFi и Kafka за форматиране и поточно предаване на сензорните данни в HBase вече позволява усъвършенствано проектиране и обработка на данни, независимо от това колко голям наборът от данни нараства.
Следващи стъпки
За да видите всичко това в действие, моля, вижте връзките по-долу към няколко различни източника, показващи създадения процес.
- Видеоклип – Ако искате да видите и чуете как е построено това, вижте кратко 5-минутно видео, което показва навигация в реално време на CDP, работещ с NiFi, Kafka и HBase.
- Уроци – Ако искате да правите това със свое собствено темпо, вижте подробно ръководство с екранни снимки и инструкции ред по ред за това как да настроите това.
- MeetUps – Ако искате да говорите директно с експерти от Cloudera и дори със собственика на този Corvette, моля, присъединете се към виртуална среща, за да видите презентацията му на живо. В края ще има време за директни въпроси и отговори.
- Страница за потребители на CDP – За да научите за други CDP ресурси, създадени за потребители, включително допълнителни видеоклипове, уроци, блогове и събития, щракнете върху връзката.
