Връща SQL тип данни, напр. VARCHAR2. Също така бих препоръчал да не използвате WHEN OTHERS. Освен това не се нуждаете от заявка за двойно:
create or replace
function IS_NUMBER(str in varchar2) return varchar2
IS
n number;
BEGIN
n := to_number(str);
return 'Y';
EXCEPTION WHEN VALUE_ERROR THEN
return 'N';
END;