Трябва да сте използвали .msi инсталатора. Той автоматично регистрира услуга на Windows, която стартира незабавно след инсталирането (поне на моята машина с win 10).
Тази услуга използва конфигурацията по подразбиране и се свързва с порт 6379. Когато стартирате redis-server от командния ред, ако не сте посочили различен порт чрез конфигурационен файл, тя отново взема конфигурацията по подразбиране и се опитва да се свърже с порт 6379, което е неуспешно.
Вашият cli работи, защото се свързва с услугата redis, която вече слуша на 6379. Вашата команда за изключване спира услугата и оттам нещата работят както се очаква. Мистерията е решена. Случаят приключен.