Ако искате данните да се преобразуват автоматично, трябва да укажете набора от знаци когато създавате двигателя:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Настройка на use_unicode
сам по себе си няма да каже на sqlalchemy кой набор от знаци да използва.