Ако използвате пакета PyPi django-celery-beat изглежда, че инсталира най-новата версия на необходимия пакет celery вместо да инсталирате съвместима версия (до момента, в който публикувам това, 25 май 2021 г. това ще бъде v5.1.0 ), който изглежда има проблеми със съвместимостта с django-celery-beat версия 2.2.0 (най-новата), както и ОС Windows.
Предлагам ви да опитате
pip uninstall celery
pip install celery==5.0.5