High-Tech Santé Médecine Droit-Finances

Grippe A

Que dois-je faire ?

Rechercher : dans
Par :

[SQL] Performance et Index

Dernière réponse le 29 mai 2008 à 13:58:14 11laurent11, le 13 fév 2007 à 18:13:37 
 Signaler ce message aux modérateurs

Bonjour,

J'ai une base de données qui contient pour l'instant environ 150 000 entrées qui sont en fait des numéros de téléphone avec un certain nombres de champs liés à ces numéros de téléphone.

numero_telephone | champ1 | champ2 | ... => Tous en VARCHAR

Quand je veux alimenter la base de données avec des nouveaux numéros (variable $numero_a_verifier) de téléphone, je dois bien sûr vérifier que ces numéros n'existent pas déjà et c'est là que les problèmes commencent...

Je fais donc un SELECT num_telephone where num_telephone=$numero_a_verifier

Ca fonctionne mais c'est terriblement lent et comme j'alimente la base avec des paquets de plus de 100 000 numéros, SQL doit aller vérifier les 150 000 existants et ça prend un temps dingue (plusieurs heures!)

Je pense donc que j'ai mal formatté ma base. Je dois probablement indexer la base, j'ai simplement cliqué sur l'icone index de la colonne numero_telephone mais c'est à peine un peu plus rapide.

Est-ce que quelqu'un peut m'expliquer comment je peux optimiser ce genre de requêtes ?

Merci !
Laurent

Configuration: Windows XP
Internet Explorer 6.0

Meilleures réponses pour « [SQL] Performance et Index » dans :
Utilisation des index sous sql server Voir
SQL - Création d'index Voir Qu'est-ce qu'un index? Un index est un objet complémentaire (mais non indispensable) à la base de données permettant d'"indexer" certaines colonnes dans le but d'améliorer l'accès aux données par le SGBDR, au même titre qu'un index dans un livre ne...
Oracle et les Index Voir
Oracle - Optimiser les performances de l'Import/Export VoirOptimiser les performances de l’Import/Export Utiliser « commit=y » Adapter la taille du buffer au besoin « BUFFER=…. » Il est préférable de désactiver les triggers, les contraintes et supprimer les index avant l’import et les recréer après...
Equivalent de InDesign/XPress/Publisher (gratuit) Voir
[PHP] Notice: Undefined index: VoirSi vous utilisez les tableaux $_POST ou $_GET pour récupérer les variables de vos formulaires ou autres, il se peut que vous tombiez sur cette erreur: Notice: Undefined index 'champs du tableau' in 'chemin du fichier php en cours d'execution' on line...
Le langage SQL VoirQu'appelle-t-on SQL? SQL (Structured Query Language, traduisez Langage de requêtes structuré) est un langage de définition de données (LDD, ou en anglais DDL Data Definition Language), un langage de manipulation de données (LMD, ou en anglais DML,...
SQL - Création de table VoirLe SQL, comportant un langage de définition de données (LDD), permet de créer des tables. Pour cela, il utilise le couple de mots clés CREATE TABLE. La création de tables Le création de tables se fait à l'aide du couple de mots-clés CREATE...
SQL - Modification de table VoirModification de table Il est possible de supprimer une table grâce à la clause DROP, il existe aussi des commandes moins extrêmes permettant L'ajout de colonnes La modification de colonnes La suppression de colonnes Enfin, il est possible...
Posez votre question Répondre

1

sapatera, le 14 fév 2007 à 13:58:19
  • +1

Bonjour,

Pourquoi ne pas créer une table dont la clé primaire est le numero de téléphone ?

   
Répondre à sapatera

2

blux, le 14 fév 2007 à 15:31:11

Salut,

pourquoi tester s'il existe déjà ?

Tu l'insères et ton SGBD va refuser l'insertion s'il existe déjà ...à condition que le numéro de téléphone soit la clé primaire...
A+ Blux 

 "Les cons, ça ose tout.
C'est même à ça qu'on les reconnait"

   
Répondre à blux

3

Laurent, le 14 fév 2007 à 18:16:36

Merci pour vos réponses!

J'ai essayé la clé primaire et je trouve ça encore trop lent :(

Blux: est-ce que le fait d'utiliser une clé primaire transforme une requête insert into en update? Le problème avec ma vérification c'est que pour chaque fichier que je charge, je dois éviter d'insérer un numéro qui existe déjà mais en plus si le numéro existe déjà, je dois faire une mise à jour des autres champs liés à ce numéro dans la base de données.

   
Répondre à Laurent

4

blux, le 18 fév 2007 à 14:36:52

Le clé primaire est sûrement le truc le plus rapide pour accéder à un enregistrement...

Si ça ne va pas assez vite pour toi, change de SGBD ou d'ordinateur...

Le fait d'utiliser une clé primaire ne fait en aucun cas de mise à jour, seul le texte de la requête le permet : INSERT ou UPDATE...
A+ Blux 

 "Les cons, ça ose tout.
C'est même à ça qu'on les reconnait"

   
Répondre à blux

5

dja7, le 11 avr 2007 à 18:19:49

Salut,
Je realise exactement le meme projet que toi, et j'ai le meme probleme : tant qu'on ne fait qu'inserer c'est rapide, mais dés qu'on rajoute autre chose dans la boucle ça devient trop lent.
As tu trouvé une solution depuis?

Et pour l'idée de Blux, comment effectuer un update si le insert echoue? Ainsi?

mysql_query("INSERT INTO table (num)
VALUES( '$num')",$connex)
or die ("UPDATE table SET nbr = nbr+1 WHERE num ='$num'");

Merci

   
Répondre à dja7

6

xo, le 21 oct 2007 à 00:18:32

Bonjour,

lancez d'abord un count(*) : ( SELECT count(*) from table where num_telephone='$numero_a_verifier' )

si ça renvoie >0 , pas d'insert sinon insert

faire un count meme sur une tres grosse table est tres rapide.

   
Répondre à xo

7

Thibaut, le 20 mar 2008 à 17:55:46

Pourquoi ne pas séparer cela en 2 étapes ?

Dans une première boucle effectuer toutes les vérifications nécessaires, puis dans une 2eme boucle effectuer les insertions.

De cette façon on évite que les mises à jour des index dues aux insertions se fassent à chaque tour de boucle...

Je ne suis pas expert en BDD mais j'essayerais ça.

Bonne chance.

   
Répondre à Thibaut

8

 ranjok, le 29 mai 2008 à 13:58:14

>Pourquoi ne pas créer une table dont la clé primaire est le numero de téléphone ?

C'est ridicule !!!
Ajoute une contrainte UNIQUE au champ qui contient les numéros de téléphone, ainsi aucune nécessité de vérifier si ça existe déja

Ou bien utiliser un INDEX sur ce champ est aussi une solution, ça prend juste plus de mémoire !!!

   
Répondre à ranjok
Posez votre question Répondre
Ils ont besoin de votre aide