Тъй като CTE не може да се актуализира, трябва да се обърнете към оригиналната таблица, за да изтриете редове. Мисля, че търсите нещо подобно:
WITH ToDelete AS
(
SELECT ID,
ROW_NUMBER() OVER (PARTITION BY lastName, firstName ORDER BY ID) AS rn
FROM mytable
)
DELETE FROM mytable USING mytable JOIN ToDelete ON mytable.ID = ToDelete.ID
WHERE ToDelete.rn > 1;