Подозирам, че Hibernate се опитва да използва метода "голям обект" с PostgreSQL, който включва съхраняване на OID "дръжка" на файла в таблицата. Някои примерни четения:http://virgo47.wordpress.com/2008/06/13/jpa-postgresql-and-bytea-vs-oid-type/
Ако искате да се придържате само към използването на колона bytea (и това е значително по-лесно за работа от страна на SQL), използвайте BinaryType, за да картографирате колоната. Вижте:правилна анотация за хибернация за байт[]