Как мога да дефинирам тип в oracle11g, който препраща към колекция от този тип?

Oracle няма да компилира вашата дефиниция, защото типът Item все още не е компилиран. Защо не опитате това:

Компилирайте това:

CREATE OR REPLACE TYPE Item;

CREATE OR REPLACE TYPE items_table IS TABLE OF REF item;

и след това опитайте:

CREATE OR REPLACE TYPE item AS OBJECT (
   id number,
   subitems items_table
)