Поведение при кръстосано свързване (SQLServer 2008)

JOIN има по-висок приоритет от COMMA, така че вашият втори израз се тълкува като (обърнете внимание на скобите, които добавих):

select sched.id, max(txn.dttm), acc.id
from PaymentSchedulePeriod sched 
,(PaymentSchedulePayment pay
right outer join AccountTransaction txn on pay.accountTransactionFk=txn.id 
right outer join Account acc on txn.accountFk=acc.id)
where sched.accountFk=acc.id 
group by sched.id, acc.id

Вижте също:Правила за приоритет на JOIN според SQL-99