Как да попълня обект с масив от обекти в mongoose?

не мисля, че има проблем с .populate('adminInfo.adminId') метод.

сигурен ли си, че реф полето е в CamelCase .

Ако не, опитайте да промените референтното поле ->

adminInfo: {
  _id: false,
  adminId: [{
    type: Schema.Types.ObjectId,
    ref: 'user'
  }]
}