Не е нужно да бягате толкова много. Можете просто да използвате единични кавички извън заявката и двойни кавички вътре, т.е. но внимавайте да имате шестнадесетичен тип, което означава "03", а не "3"
mongodump --host localhost --db test --collection bd --query
'{"_id" : { "$binary" : "ryBRQ+Px0kGRsZofJhHgqg==", "$type" : "03" } }'