Отговорът е RawSQL израз;
queryset.annotate(value = RawSQL("(jsonfield->%s)", ('key_name',)))
queryset.values('value')
Първият аргумент на RawSQL
е като шаблонен низ, вторият аргумент ще запълни %s
на първия
АКТУАЛИЗАЦИЯ:очевидно Django 2.1+ вече поддържа първоначалното ми очаквано поведение;
queryset.values('jsonfield__key_name')