SQL Query продължава да работи много дълго време, ако терминът за търсене не бъде намерен

Вече можете да опростите заявката си по този начин;) :

int start=page * recordsInPage;

var inner = (from user in db.Users
            where user.Name.Contains(name) && !user.Deleted && user.AppearInSearch
            orderby user.Verified descending
            select  new
                   {
                     Name = user.Name,
                     Verified = user.Verified,
                     PhotoURL = user.PhotoURL,
                     UserID = user.Id,
                     Subdomain = user.Subdomain,
                     Deleted=user.Deleted,
                     AppearInSearch = user.AppearInSearch
                   }
             ).Skip(start).Take(recordsInPage);

return await inner.ToListAsync();

Ако имате проблем с производителността, опитайте да създадете съхранена процедура с вашия SQL и да я използвате с Entity Framework.