Тъй като все още трябва да прочетете всички данни от индекс + файл с данни. Тъй като не използвате никакво where
условие - винаги ще имате план за заявка, който има достъп до всички данни, ред по ред и не можете да направите нищо с това.
Ако производителността е важна за тази заявка и се изпълнява често - бих предложил да кеширате резултатите в някаква временна таблица и да я актуализирате на всеки час (ежедневно и т.н.).
Защо става по-бавно:защото в индекса данните вече са сортирани и когато mysql изчислява цената на изпълнението на заявката, смята, че ще е по-добре да използва вече сортирани данни, след това да ги групира и след това да изчисли агрегатите. Но в този случай не е така.