С помощта на:
sc.parallelize(startDate to endDate)
С началните данни и крайната дата като дълги, генерирани от дати във формата:
("yyyy-MM-dd HH:mm:ss")
Направих spark, за да създам огромен масив (100 000+ обекта), който да се присъедини към таблицата C* и тя изобщо не остана - C* работи усилено, за да осъществи свързването и да върне данните.
Накрая промених диапазона си на:
case class TableKey(created_dh: String)
val data = Array("2015-10-29 12:00:00", "2015-10-29 13:00:00", "2015-10-29 14:00:00", "2015-10-29 15:00:00")
val snapshotsFiltered = sc.parallelize(data, 2).map(TableKey(_)).joinWithCassandraTable("listener","snapshots_tnew")
И сега е добре.
