Аз съм в абсолютно същата ситуация, следвах абсолютно същите стъпки и имах същия проблем.
Това, което проработи при мен, беше:
sudo service mongod stop
sudo apt-get purge mongodb-org*
НЕ премахвайте директории с данни - всичките ви данни ще бъдат загубени, ако го направите.
Забележка:Извикване на sudo apt-get purge mongodb-org* изтрива mongod.conf файл. В случай, че искате да запазите този файл след актуализацията, не забравяйте да създадете резервно копие от него и го използвайте, след като новата версия бъде инсталирана.
След това инсталирайте mongodb с:
sudo apt-get install -y mongodb-org
Това предполага, че вече сте изпълнили предишните стъпки за инсталиране (импортиране на публичния ключ, създаване на файл със списък, презареждане на локална база данни на пакети), както сте посочили.
