Разбира се, можете да направите това с SQLAlchemy.
Всичко, което трябва да направите, е да създадете различни машини за свързване, всяка със собствен производител на сесии. Нищо в SQLAlchemy не ви ограничава само до една база данни в даден момент.
engines = []
sessions = []
for dbconninfo in databases:
engine = create_engine(dbconninfo)
engines.append(engine)
sessions.append(sessionmaker(bind=engine)())
Можете да използвате всяка сесия за изпълнение на заявки, резултатните обекти се прикачват към сесията, която ги е произвела, така че промените да се връщат обратно към правилната база данни. Проучете документацията за сесията в детайли, за да видите какво се случва, ако обедините обект от една сесия в друга, например.