Имам нужда от sql заявка, за да групирам по име, но да върна други полета въз основа на най-скорошния запис

Можете също така да напишете написаното от Андрей малко по-компактно, ако изберете TOP (1) WITH TIES и поставите израза ROW_NUMBER() в клаузата ORDER BY:

SELECT TOP (1) WITH TIES
  CallerFName,
  CallerLName,
  CallerDOB,
  CreatedOn,
  PhoneNoteID
FROM [dbo].[PhoneCallNotes]
WHERE CallerLName = 'Public' 
ORDER BY ROW_NUMBER() OVER(
  PARTITION BY CallerFName, CallerLName, CallerDOB
  ORDER BY CreatedOn DESC
)

(Между другото, няма причина да използвате LIKE за обикновено сравнение на низове.)