Има ли някаква опция за ограничаване на използването на паметта на mongodb?

Ако използвате MongoDB 3.2 или по-нова версия, можете да ограничите wiredTiger кеш както бе споменато по-горе.

В /etc/mongod.conf добавете wiredTiger част

...
# Where and how to store data.
storage:
  dbPath: /var/lib/mongodb
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
        cacheSizeGB: 1
...

Това ще ограничи размера на кеша до 1GB , повече информация в Doc

Това реши проблема за мен, като стартирах ubuntu 16.04 и mongoDB 3.2

PS:След като промените конфигурацията, рестартирайте демона mongo.

$ sudo service mongod restart

# check the status
$ sudo service mongod status