Мисля, че да направя друга маса "гласуване" е по-добре. Връзката между потребителите и гласовете е от n до n, следователно трябва да се създаде нова таблица. Трябва да е нещо подобно:
question id (int) | user id (int) | permanent (bool) | timestamp (datetime)
Постоянното поле може да се използва, за да накара гласовете да останат след определено време, както прави SO.
Могат да се добавят други полета според желаните функции. Тъй като всеки ред ще отнеме поне 16B, можете да имате до 250M реда в таблицата преди таблицата използва 4 GB (ограничение за fat32, ако има един архив на таблица, какъвто е случаят с MyISAM и InnoDB).
Също така, както Матю Шарли посочва в коментар, не зареждайте всички гласове наведнъж в паметта (като извличане на цялата таблица в набор от резултати). Винаги можете да използвате клауза LIMIT, за да стесните резултатите от заявката си.