Една от опциите е да не използвате spark-redis, а да търсите директно в Redis. Това може да се постигне с df.mapPartitions функция. Можете да намерите някои примери за Spark DStreams тук https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. Идеята за структурно поточно предаване е подобна. Внимавайте да боравите правилно с връзката Redis.
