Използването на вашата заявка няма да работи, тъй като where клаузата филтрира user_ids. Използвайте
SELECT * FROM participants
GROUP BY conversation_id
HAVING sum(user_id not in (1,2)) = 0
user_id not in (1,2) връща 1 ако е user_id различен от 1,2 са в разговор и 0 в противен случай. Така че използвайки SUM можете да съберете всички тези случаи. Ако не бъде намерен нито един, тогава сумата е 0 .