Бих попитал първо защо имате колона varchar, която трябва да се третира като числова, но няма значение.
Можете да използвате extra
queryset метод за преобразуване на вашия низ:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])