Sqlserver
 sql >> база данни >  >> RDS >> Sqlserver

SQL, Помощна таблица с числа

Хех... съжалявам, че толкова късно отговарям на стар пост. И, да, трябваше да отговоря, защото най-популярният отговор (по това време, рекурсивният CTE отговор с връзка към 14 различни метода) в тази тема е, хммм... в най-добрия случай производителността е предизвикана.

Първо, статията с 14-те различни решения е добра, за да видите различните методи за създаване на таблица с числа/отчет в движение, но както е посочено в статията и в цитираната тема, има много важен цитат...

"предложенията относно ефективността и производителността често са субективни. Независимо от това как се използва заявката, физическата реализация определя ефективността на заявката. Ето защо, вместо да разчитате на предубедени насоки, е наложително да тествате заявката и да определите коя от тях се представя по-добре."

По ирония на съдбата самата статия съдържа много субективни твърдения и „предубедени насоки“ като „рекурсивният CTE може да генерира списък с числа доста ефективно " и „Това е ефективен метод на използване на цикъл WHILE от публикация в дискусионна група от Itzik Ben-Gen" (което съм сигурен, че е публикувал само за сравнение). Хайде, хора... Само споменаването на доброто име на Ицик може да накара някой клетник да използва този ужасен метод. Авторът трябва да практикува това, което проповядва, и трябва да направи малко тестване на производителността, преди да направи такива абсурдно неверни твърдения, особено в лицето на каквато и да е мащабируемост.

С мисълта да направите тестове, преди да направите каквито и да било субективни твърдения за това какво прави всеки код или какво „харесва“, ето някакъв код, с който можете да направите собствено тестване. Настройте профайлъра за SPID, от който изпълнявате теста, и го проверете сами... просто направете "Search'n'Replace" на числото 1000000 за вашия "любим" номер и вижте...

--===== Test for 1000000 rows ==================================
GO
--===== Traditional RECURSIVE CTE method
   WITH Tally (N) AS 
        ( 
         SELECT 1 UNION ALL 
         SELECT 1 + N FROM Tally WHERE N < 1000000 
        ) 
 SELECT N 
   INTO #Tally1 
   FROM Tally 
 OPTION (MAXRECURSION 0);
GO
--===== Traditional WHILE LOOP method
 CREATE TABLE #Tally2 (N INT);
    SET NOCOUNT ON;
DECLARE @Index INT;
    SET @Index = 1;
  WHILE @Index <= 1000000 
  BEGIN 
         INSERT #Tally2 (N) 
         VALUES (@Index);
            SET @Index = @Index + 1;
    END;
GO
--===== Traditional CROSS JOIN table method
 SELECT TOP (1000000)
        ROW_NUMBER() OVER (ORDER BY (SELECT 1)) AS N
   INTO #Tally3
   FROM Master.sys.All_Columns ac1
  CROSS JOIN Master.sys.ALL_Columns ac2;
GO
--===== Itzik's CROSS JOINED CTE method
   WITH E00(N) AS (SELECT 1 UNION ALL SELECT 1),
        E02(N) AS (SELECT 1 FROM E00 a, E00 b),
        E04(N) AS (SELECT 1 FROM E02 a, E02 b),
        E08(N) AS (SELECT 1 FROM E04 a, E04 b),
        E16(N) AS (SELECT 1 FROM E08 a, E08 b),
        E32(N) AS (SELECT 1 FROM E16 a, E16 b),
   cteTally(N) AS (SELECT ROW_NUMBER() OVER (ORDER BY N) FROM E32)
 SELECT N
   INTO #Tally4
   FROM cteTally
  WHERE N <= 1000000;
GO
--===== Housekeeping
   DROP TABLE #Tally1, #Tally2, #Tally3, #Tally4;
GO

Докато сме на това, ето числата, които получавам от SQL Profiler за стойностите от 100, 1000, 10000, 100000 и 1000000...

SPID TextData                                 Dur(ms) CPU   Reads   Writes
---- ---------------------------------------- ------- ----- ------- ------
  51 --===== Test for 100 rows ==============       8     0       0      0
  51 --===== Traditional RECURSIVE CTE method      16     0     868      0
  51 --===== Traditional WHILE LOOP method CR      73    16     175      2
  51 --===== Traditional CROSS JOIN table met      11     0      80      0
  51 --===== Itzik's CROSS JOINED CTE method        6     0      63      0
  51 --===== Housekeeping   DROP TABLE #Tally      35    31     401      0

  51 --===== Test for 1000 rows =============       0     0       0      0
  51 --===== Traditional RECURSIVE CTE method      47    47    8074      0
  51 --===== Traditional WHILE LOOP method CR      80    78    1085      0
  51 --===== Traditional CROSS JOIN table met       5     0      98      0
  51 --===== Itzik's CROSS JOINED CTE method        2     0      83      0
  51 --===== Housekeeping   DROP TABLE #Tally       6    15     426      0

  51 --===== Test for 10000 rows ============       0     0       0      0
  51 --===== Traditional RECURSIVE CTE method     434   344   80230     10
  51 --===== Traditional WHILE LOOP method CR     671   563   10240      9
  51 --===== Traditional CROSS JOIN table met      25    31     302     15
  51 --===== Itzik's CROSS JOINED CTE method       24     0     192     15
  51 --===== Housekeeping   DROP TABLE #Tally       7    15     531      0

  51 --===== Test for 100000 rows ===========       0     0       0      0
  51 --===== Traditional RECURSIVE CTE method    4143  3813  800260    154
  51 --===== Traditional WHILE LOOP method CR    5820  5547  101380    161
  51 --===== Traditional CROSS JOIN table met     160   140     479    211
  51 --===== Itzik's CROSS JOINED CTE method      153   141     276    204
  51 --===== Housekeeping   DROP TABLE #Tally      10    15     761      0

  51 --===== Test for 1000000 rows ==========       0     0       0      0
  51 --===== Traditional RECURSIVE CTE method   41349 37437 8001048   1601
  51 --===== Traditional WHILE LOOP method CR   59138 56141 1012785   1682
  51 --===== Traditional CROSS JOIN table met    1224  1219    2429   2101
  51 --===== Itzik's CROSS JOINED CTE method     1448  1328    1217   2095
  51 --===== Housekeeping   DROP TABLE #Tally       8     0     415      0

Както можете да видите, методът Recursive CTE е вторият най-лош след цикъла While за продължителност и CPU и има 8 пъти по-голямо налягане в паметта под формата на логически четения в сравнение с цикъла While . Това е RBAR за стероиди и трябва да се избягва, на всяка цена, за всякакви изчисления на един ред, точно както трябва да се избягва цикъл While. Има места, където рекурсията е доста ценна, но това НЕ Е едно от тях .

Като странична лента, г-н Дени е абсолютно на място... постоянната маса с правилен размер или таблица за изчисление е начинът, по който можете да отидете за повечето неща. Какво означава правилен размер? Е, повечето хора използват таблица Tally за генериране на дати или за разделяне на VARCHAR(8000). Ако създадете Tally таблица с 11 000 реда с правилния клъстериран индекс на "N", ще имате достатъчно редове, за да създадете дати за повече от 30 години (работя с ипотеки доста малко, така че 30 години са ключов номер за мен ) и със сигурност достатъчно, за да се справи с разделяне VARCHAR(8000). Защо "правилното оразмеряване" е толкова важно? Ако таблицата Tally се използва много, тя лесно се побира в кеша, което я прави невероятно бърза, без изобщо да натиска паметта.

И накрая, но не на последно място, всеки знае, че ако създадете постоянна таблица Tally, няма голямо значение кой метод ще използвате, за да я създадете, защото 1) ще бъде направена само веднъж и 2) ако е нещо като 11 000 ред таблица, всички методи ще работят "достатъчно добре". Е, защо толкова възмущение от моя страна относно кой метод да използвам???

Отговорът е, че някой бедняк/момиче, който не знае нищо по-добре и просто трябва да свърши работата си, може да види нещо като метода на рекурсивния CTE и да реши да го използва за нещо много по-голямо и много по-често използвано от изграждането постоянна таблица на Tally и се опитвам да защитя тези хора, сървърите, на които работи техният код, и компанията, която притежава данните на тези сървъри . Да... толкова е голяма работа. Трябва да е и за всички останали. Научете правилния начин да правите нещата вместо „достатъчно добър“. Направете някои тестове, преди да публикувате или използвате нещо от публикация или книга... животът, който спасявате, всъщност може да бъде ваш, особено ако смятате, че рекурсивният CTE е начинът да отидете за нещо подобно.;-)

Благодаря за слушането...



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Изчисляване на разстоянието между две точки (ширина, дължина)

  2. Може ли ограничение за проверка да се отнася до друга таблица?

  3. Как да настроите съпоставянето на колона в SQL Server (T-SQL)

  4. Как да групирам по непрекъснати диапазони

  5. Запомнете това, когато форматирате тип данни TIME в SQL Server (T-SQL)