Можете да използвате израз в ORDER BY. Опитайте това:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Това първо ще сортира по Id, ако ParentId =0, или по ParentId в противен случай. Вторият критерий за сортиране е Id, за да се гарантира, че отговорите се връщат по ред.