Имате правилната идея, просто не можете да използвате псевдоними в where клауза такава. Просто използвайте формулата директно и ще се оправите. Освен това вероятно трябва да използвате <= , а не = :
select Fname, Lname, Salary, 1.10 * Salary as NewSalary
from employee
where 1.10 * Salary - (select AVG(salary) from employee) <= 400;