Имам подобен проблем. Имам контейнер nspawn на Debian с Docker вътре. mongo изображението не успя да се стартира, защото mlock системните повиквания бяха отказани.
Имах следната конфигурация в моя /etc/systemd/nspawn/machine.nspawn :
[Exec]
Capability=all
SystemCallFilter=add_key keyctl
[Files]
Bind=/sys/fs/cgroup
Реших проблема си, като добавих @memlock към SystemCallFilter .
Във вашия случай, ако нямате Capability=all ред във вашия machine.nspawn файл, трябва да имате поне Capability=CAP_IPC_LOCK .