Методът AverageRating не е релация и не можете да го използвате като релация. Ако искате да имате средна оценка, задайте средна оценка на добавени атрибути.
Course.php:
protected $appends = [
'average-rating'
];
function getAverageRatingAttribute(){
return round($this->rating()->avg('ratings'),1);
}