Не точно. Клаузата за наличие предполага агрегиране, което означава, че вече нямате оригиналните редове.
Мисля, че искате следното:
DELETE from UserPredictions
where UserId in (select UserId from UserPredictions group by UserId having count(*) < 500)