Трябва да дефинирате уникалното за индекса:
var QuestionListSchema = new Schema({
topicName: String,
quesList: {
quesListName: {
type: String,
index: {
unique: true
}
},
by: String
}
});
http://mongoosejs.com/docs/api.html#schematype_SchemaType-index