Ако използвате Windows, системните променливи трябва да се използват като %COHERENCE_HOME% , а не COHERENCE_HOME .
т.е. вашата команда трябва да изглежда като java -cp %COHERENCE_HOME%\config;%COHERENCE_HOME%\lib\coherence.jar com.tangosol.net.DefaultCacheServer
Също така, моля, проверете дали com.tangosol.net.DefaultCacheServer класът е на класовата пътека.