Трябва да намерите най-новата дата за всяка категория в подзаявка, присъединете тази подзаявка към вашата таблица и подредете по 3 полета:
SELECT p.* FROM products p
JOIN
( SELECT category_id, MAX(date) as category_date FROM products
GROUP BY category_id ) pg
ON p.category_id = pg.category_id
ORDER BY pg.category_date DESC, p.category_id, p.date DESC