Мисля, че вашата низова форма всъщност изглежда като представянето на python...
s = '{"_id": {"$oid": "4edebd262ae5e93b41000000"}}'
u = json.loads(s, object_hook=json_util.object_hook)
print u # Result: {u'_id': ObjectId('4edebd262ae5e93b41000000')}
s = json.dumps(u, default=json_util.default)
print s # Result: {"_id": {"$oid": "4edebd262ae5e93b41000000"}}
Функцията bson.json_util.object_hook изглежда няма какъвто и да е тип обработка за наличието на ObjectId() в действителното представяне на json низ.