Mongoose findOneAndUpdate Актуализиране на множество полета

Вие използвате $set оператор многократно. Правилният синтаксис за $set е :

{ $set: { <field1>: <value1>, ... } }

Трябва да промените своята актуализация аргумент като този:

Book.findOneAndUpdate({ "_id": bookId }, { "$set": { "name": name, "genre": genre, "author": author, "similar": similar}}).exec(function(err, book){
   if(err) {
       console.log(err);
       res.status(500).send(err);
   } else {
            res.status(200).send(book);
   }
});