Въпреки че не сте сигурни, можете да проверите низа USER_AGENT и да стартирате този код само ако „бот“ не съществува.
if(stripos($_SERVER['HTTP_USER_AGENT'],'bot') === false){ }
Това би спряло всеки бот, който всъщност има бот в низа на потребителския агент, който също не обръща внимание на robots.txt.
