Redis
 sql >> база данни >  >> NoSQL >> Redis

Bull опашка:Когато дадена задача не успее, как да спрете опашката да обработва оставащите задания?

В bull Не е възможно същата работа да се повтори веднага след нейната неуспех, преди да се вземе следващото задание в опашката.

Решение:

  1. Създайте ново задание и задайте неговия приоритет на стойност, по-малка от текущия тип задание.
  2. Освободете неуспешната задача (resolve() или done() )
  3. Тази нова работа ще бъде приета незабавно от bull за обработка.

Примерен код:В кода по-долу Job-3 ще се провали и ще създаде нова работа и така нататък, докато „целта на заданието“ успее в даден момент.

var Queue = require('bull');

let redisOptions = {
  redis: { port: 6379, host: '127.0.0.1' }
}
var myQueue = new Queue('Linear-Queue', redisOptions);

myQueue.process('Type-1', function (job, done) {
  console.log(`Processing Job-${job.id} Attempt: ${job.attemptsMade}`);
  downloadFile(job, async function (error) {
    if (error) {
      await repeatSameJob(job, done);
    } else {
      done();
    }
  });
});

async function repeatSameJob(job, done) {
  let newJob = await myQueue.add('Type-1', job.data, { ...{ priority: 1 }, ...job.opts });
  console.log(`Job-${job.id} failed. Creating new Job-${newJob.id} with highest priority for same data.`);
  done(true);
}

function downloadFile(job, done) {
  setTimeout(async () => {
    done(job.data.error)
  }, job.data.time);
}

myQueue.on('completed', function (job, result) {
  console.log("Completed: Job-" + job.id);
});

myQueue.on('failed', async function (job, error) {
  console.log("Failed: Job-" + job.id);
});

let options = {
  removeOnComplete: true, // removes job from queue on success
  removeOnFail: true // removes job from queue on failure
}

for (let i = 1; i <= 5; i++) {
  let error = false;
  if (i == 3) { error = true; }

  setTimeout(i => {
    let jobData = {
      time: i * 2000,
      error: error,
      description: `Job-${i}`
    }
    myQueue.add('Type-1', jobData, options);
  }, i * 2000, i);
}

Изход:




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Преобразуване от DataFrame в RDD[(String, String)].

  2. Redis извлича цялата стойност на списъка без итерация и без изскачане

  3. Редис масово вмъкване

  4. Демократична опашка в Сидекик

  5. Как мога да се свържа сигурно с хостван от Heroku Redis от командния ред?