Oracle
 sql >> база данни >  >> RDS >> Oracle

Как да ускорите зареждането на данни от oracle sql в pandas df

Задаване на правилна стойност за cur.arraysize може да помогне за настройване на производителността на извличане .Трябва да определите най-подходящата стойност за него. Стойността по подразбиране е 100 . Може да се изпълни код с различни размери на масива, за да се определи тази стойност, като

arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size) 

и след това задайте като cur.arraysize =10000 преди да извикате db_select от оригиналния ви код




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Търсене в база данни на Oracle за таблици с конкретни имена на колони?

  2. Вмъкването на национални знаци в колона NCHAR или NVARCHAR на оракул не работи

  3. Винаги ли DDL операторите ви дават имплицитен комит или можете да получите имплицитно връщане назад?

  4. N-та максимална заплата в Oracle

  5. Сравнете низове, игнориращи акценти в SQL (ORACLE)