Най-накрая намерих отговора на моя проблем. Теоретично дължината е оста x, а ширината е оста y. Но ние сме свикнали с географска ширина-дължина, а не дължина-широчина...Така че начинът, по който търсих, беше грешен
$near : [msg.lat, msg.lng]
Когато промених това на $near :[msg.lng, msg.lat] , започна да работи дори с 5KM... Така че проблемът беше поръчката.