Това е доста странно поведение. Току-що пуснах вашия код локално и всичко работи. Можете ли да проверите дали използвате драйвер версия 0.18.2? Ако е така, уверете се, че това е единствената инсталирана версия (само като проверка на здравината).
Не мисля, че би трябвало да има някаква разлика, но не изпълнявах #group от MongoMapper -- използвах само скъпоценния камък. Може да опитате и това. Ето кода, който изпълних:
require 'rubygems'
require 'mongo'
d = Mongo::Connection.new.db('blog')
c = d['post']
p c.group("function(x) { return { month: x.date.getMonth(), year:x.date.getFullYear() }; }",
nil,
{ :count => 0 },
"function(x,y){y.count++}",
true)