- В никакъв случай не можете да смесвате версиите на Hadoop-common, hadoop-aws, aws-s3-sdk и jackson от това, което всичко очаква, или ще видите следи на стека.
- И всичко това е с отворен код, така че ако D/L всички изходни JAR файлове локално, вашето IDE ще ви помогне да намерите какво причинява проследяването на стека. Това правим всички ние . Това не е магия, модерните IDE (intellij IDEA) дори имат специално отстраняване на грешки в стека.
Този идва, защото стойността на fs.s3a.multipart.size зададен в /core-default.xml на hadoop-common ресурсът е 100 милиона, който дойде с HADOOP-13680
и числата за обработка на анализа на диапазона като "100M" вместо 104857600. Тази трасировка на стека казва „Конфигурация на Hadoop 2.8+“
Можете да опитате да зададете свойството във вашите конфигурации на тази числова стойност, но това е предупредителен знак, че версиите на JAR файловете не са синхронизирани и вероятно ще получите само няколко реда по-нататък, преди нещо друго да се повреди.
Поправка:уверете се, че hadoop-common.jar и hadoop-aws.jar са в синхрон. Изглежда, че сте подредили jackson и aws, въпреки че jackson е достатъчно сложен, че никога не можете да приемете това за даденост.
