Работникът на python-rq се затваря автоматично

Добре, разбрах проблема. Това беше поради изчакване на работник.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Така че според моя код, следващият домейн е изключен от опашката, ако 200 url(s) се извличат от всеки домейн. Но за някои домейни имаше недостатъчен брой URL адреси за прекратяване на условието (като само 1 или 2 URL адреса).

Тъй като кодът улавя всички изключения и се добавя към error.txt файл. Дори изключението за изчакване на rq rq.timeouts.JobTimeoutException беше хванат и добавен към файла. Това кара работника да чака x период от време, което води до прекратяване на работника.