Някак си не успях да изпълня заявката с CAST . Винаги получавах Error Code: 1064 near "DECIMAL" (или друг числов тип, който избрах). И така, намерих друг начин да сортирам varchar като числа:
SELECT *
FROM mytable
ORDER BY ABS(mycol)
Малко по-просто и работи в моя случай.