Скоростта на заявките на CosmosDb е голяма с insertMany

Драйверът Mongo ви казва кои записи са получили грешки и кои изобщо не са били обработени. Ако всички грешки (обикновено една) имат код 16500, тогава вашият проблем е дроселиране и повторен опит за грешки, а останалите записи са безопасни. В противен случай грешките ви са причинени от нещо друго и трябва да направите анализ и да решите дали да продължите с повторните опити.

Драйверът Mongo не връща HTTP заглавка, където Cosmos DB предлага забавяне преди повторен опит, но това не е голяма работа. Забавянето така или иначе не гарантира успех, защото други заявки, попадащи в същата база данни, може да използват RU. По-добре е да експериментирате и да определите свои собствени правила за повторен опит. По-долу е просто рекурсивно решение, което продължава да прави повторни опити, докато всичко е наред или бъде достигнат лимитът за повторни опити.

    private async Task InsertManyWithRetry(IMongoCollection<BsonDocument> collection, 
        IEnumerable<BsonDocument> batch, int retries = 10, int delay = 300)
    {
        var batchArray = batch.ToArray();

        try
        {
            await collection.InsertManyAsync(batchArray);
        }
        catch (MongoBulkWriteException<BsonDocument> e)
        {
            if (retries <= 0)
                throw;

            //Check if there were any errors other than throttling.
            var realErrors = e.WriteErrors.Where(we => we.Code != 16500).ToArray();
            //Re-throw original exception for now.
            //TODO: We can make it more sophisticated by continuing with unprocessed records and collecting all errors from all retries.
            if (realErrors.Any())
                throw;

            //Take all records that had errors.
            var errors = e.WriteErrors.Select(we => batchArray[we.Index]);
            //Take all unprocessed records.
            var unprocessed = e.UnprocessedRequests
                .Where(ur => ur.ModelType == WriteModelType.InsertOne)
                .OfType<InsertOneModel<BsonDocument>>() 
                .Select(ur => ur.Document);

            var retryBatchArray = errors.Union(unprocessed).ToArray();

            _logger($"Retry {retryBatchArray.Length} records after {delay} ms");

            await Task.Delay(delay);

            await InsertManyWithRetry(collection, retryBatchArray, retries - 1, delay);
        }
    }