Mysql
 sql >> база данни >  >> RDS >> Mysql

как да оптимизирам този php код за вмъкване на sql?

Благодаря ви много tadman и Hanlet Escaño и Uueerdo и Julie Pelletier и Solarflare за това, че ми помогнахте в коментарите.

Направих 3 различни промени в моя PHP код, използвайки подходите, които предложихте в коментарите, след което тествах резултатите и ето резултатите от тестовете.

Заключението от 3-те теста: както предложи tadman, ключът е в ЗАРЕДЕТЕ ИНФАЙЛ С ДАННИ . драстично намали времето за изпълнение до по-малко от 7 секунди и това са 3-те теста.

ОРИГИНАЛЕН КОД: ~ 26 минути

ТЕСТ 1: ~ 34 минути

(като Uueerdo предложи да премахна echo изрази и брояча на редовете от цикъла)

while(!feof($filehandle)){
// $x++; // commented out
//echo $x . ":  "; // commented out
$fileline = fgets($filehandle);
$fields = explode("\t", $fileline);
$query = "INSERT INTO products(hs,arabicname,englishname) VALUES(" . "'" . str_replace("'", ".", $fields[0]) ."'," . "'". str_replace("'", ".", $fields[1]) . "'," . "'". str_replace("'", ".", $fields[2]) . "');"; 
$result = $conn->query($query); 
/* // commented out
if(!$result) {echo  $conn->error . "</br>";}
}else{echo $result . "</br>";}
*/};

ТЕСТ 2: ~ 7 секунди

(Като tadman каза, че търсих ЗАРЕДЕТЕ ИНФАЙЛ С ДАННИ и беше супер мощен

//replace the entire loop with this simple query
$query = "LOAD DATA LOCAL INFILE'" . 
addslashes("C:\\xampp\\htdocs\\bots\\impandexp\\imports.txt")
. "' INTO TABLE imports FIELDS TERMINATED BY '\t' LINES TERMINATED BY
'\r\n'(product_hs,counteryname,units,weight,value) SET  year = '2014';";
 $result = $conn->query($query);

ТЕСТ 3: ~ 5 секунди

Беше същото като тест 2, с изключение на това, че намерих полезни съвети на същата страница, която tadman дава, които помагат за увеличаване на скоростта.

Групово зареждане на данни за InnoDB таблици

// turning off index checks that might slows down bulk data insertion
$query = "SET foreign_key_checks=0;";
$conn->query($query);
$query = "SET unique_checks=0;";
$conn->query($query);
$query ="SET autocommit=0;";
$conn->query($query);

$query = "LOAD DATA LOCAL INFILE'" . addslashes("C:\\xampp\\htdocs\\bots\\impandexp\\imports.txt") . "' INTO TABLE imports FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\r\n'(product_hs,counteryname,units,weight,value) SET  year = '2014';";
$result = $conn->query($query);
echo $result . "</br>";
// turning them on again
$query = "SET foreign_key_checks=1;";
$conn->query($query);
$query = "SET unique_checks=1;";
$conn->query($query);
$query ="COMMIT;";
$conn->query($query);



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. PHP съхранява парола в бисквитка

  2. Не мога да изляза в PHP

  3. Възможно ли е да се добави колона с първичен индекс с автоматично нарастване в пълна таблица на mysql със закъснение?

  4. Числен ред при връщане на резултати от MySQL

  5. MySQL филтър JSON_CONTAINS Всяка стойност от масив