#1242 - Подзаявката връща повече от 1 ред - mysql

Тъй като подзаявката ви може да върне множество стойности, IN трябва да се вмести във вашата клауза where.

SELECT pictures_archive_filename 
FROM pictures_archive 
WHERE pictures_archive_id IN 
(
   SELECT pictures_archive_id 
   FROM pictures_archive_category 
   WHERE pictures_category_id = 9
)

алтернатива за това е join и двете таблици, което е по-ефективно.

SELECT  pictures_archive_filename 
FROM    pictures_archive a 
        INNER JOIN pictures_archive_category b
            ON a.pictures_archive_id = b.pictures_archive_id
WHERE   b.pictures_category_id = 9