$unset е празен. Трябва да посочите поле така:{$unset:{:...}}

Не успях да възпроизведа това съобщение за грешка, но както видяхте, Mongoose ще актуализира само полета, дефинирани в схемата. Можете обаче да замените това поведение по подразбиране, като включите strict: false опция:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)