За съжаление това, което искате да направите, не е възможно с Eloquent.
Заявката за нетърпеливо зареждане е напълно отделна от първоначалната заявка, така че всички извлечени стойности вече не са налични.
Вашите опции са или да направите съединение във вашето ограничение (което посочихте, че може да не е ефективно), или да заредите всички свързани модели и след това да сортирате/филтрирате тези, които вместо това използват PHP.
