Redis определено няма да бъде по-бърз от родната Java на една машина. Това би ви позволило да разпределите обработката, но ако парчетата данни наистина са големи, няма вероятност те да се поберат в паметта така или иначе. Без да знам повече за това, което правите, бих препоръчал да съхранявате данните на диск. Когато получите няколко машини, можете да монтирате дяла в мрежа и да споделяте данните по този начин. Като алтернатива, Hadoop с MapReduce звучи като правилното нещо за това, което правите.
