Les Allergies
Alimentaires
Posez votre question Signaler

Traitement d'un fichier avec SED ou AWK [Résolu]

pcsystemd 423Messages postés 10 mai 2008Date d'inscription 1 mars 2012Dernière intervention - Dernière réponse le 10 juil. 2009 à 16:21
Bonjour,
je reviens vers vous de nouveau car j'ai encore un casse tête pour moi.
Je dois traiter un fichier contenant des milliers de lignes comme ci-dessous:
33@liv.fr|-1
007@froru.fr|0
00844.nen@mail.fr|0
mh@mail.fr|0
8675@mail.fr|-1
140279@rut.fr|-1
77310@mail.fr|0
0022@mail.fr|0
toto98@mail.fr|0
02vale@mail.com|-1
ilan@mail.fr|0
de maniere a pouvoir dans un script shell avoir :
-Pour les lignes avec -1
Avec SED :
sed " s/.*/DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";/" ${OUTFIL} > ${INSERTFILE}

-Pour les lignes avec 0
sed " s/.*/INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'&');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);/" ${OUTFIL} > ${INSERTFILE}

et cela si possible dans la meme commande SED du style :
sed " s/.*/DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'&');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);/" ${OUTFIL} > ${INSERTFILE}

Merci pour toute l'aide que vous pourrez m'apporter.
Lire la suite 

Traitement d'un fichier avec SED ou AWK »

12 réponses
Réponse
+0
moins plus
Salut,
sed "
/-1$/ {
s/.*/DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id=\"\";/
}
/0$/ {
s/.*/INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'&');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);/
}
"  ${OUTFIL} > ${INSERTFILE}
;-))
Ajouter un commentaire
Réponse
+0
moins plus
hello
avec awk
$ cat f1.awk
$2 == -1 {printf("DELETE FROM simple where mail=\"33@liv.fr\";DELETE FROM simple_id  where id=\"\";\n")} 
$2 == 0 {printf("INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,\x27%s\x27);INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);\n", $1)}

$ awk -F'|' -f f1.awk < data
DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'007@froru.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'00844.nen@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'mh@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";
DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'77310@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'0022@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'toto98@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'ilan@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
Ajouter un commentaire
Réponse
+0
moins plus
Merci beaucoup jipicy,

je test et je te dis ce qu'il en est
jipicy- 10 juil. 2009 à 10:20
N'oublies pas dubcek au passage aussi ;-(
Ajouter un commentaire
Réponse
+0
moins plus
Oui je ne l'oublie t'inquiète, merci dubcek également.

il y a juste un truc c'est que dans les lignes DELETE le where doit etre dynamique par rapport au fichier fourni et pas toujours le meme "33@liv.fr" comme dans VALUES (1,'&') dont le & a une valeur dynamique apr rapport au fichier de données.
Merci
Ajouter un commentaire
Réponse
+0
moins plus
il me semblait aussi
remplacer cette ligne
$2 == -1 {printf("DELETE FROM simple where mail=\"%s\";DELETE FROM simple_id where id=\"\";\n", $1)}
Ajouter un commentaire
Réponse
+0
moins plus
 sed "
/-1$/ {
s/\(.*\)|-1/DELETE FROM simple where mail=\"\1\";DELETE FROM simple_id  where id=\"\";/
}
/0$/ {
s/\(.*\)|0/INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'\1');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);/
}
"
Ajouter un commentaire
Réponse
+0
moins plus
Merci,

je test tout cela et je vous dit ce qu'il en est.

;-)
Ajouter un commentaire
Réponse
+0
moins plus
Bon voila j'ai testé avec les deux façons SED et AWK .

Avec SED : Cela fonctionne sauf qu'il ne prends pas en comptepas la dernière occurrence de mon fichier.
SED traite les lignes suivantes :
33@liv.fr|-1
007@froru.fr|0
00844.nen@mail.fr|0
mh@mail.fr|0
8675@mail.fr|-1
140279@rut.fr|-1
77310@mail.fr|0
0022@mail.fr|0
toto98@mail.fr|0
02vale@mail.com|-1

Mais pas la derniére de mon fichier et même si j'en rajoute il ne traite jamais la derniere?
ilan@mail.fr|0

Une idée?

Avec AWK : Depuis un script shell je 'narrive pas a le faire fonctionner a mon avis il me manque des quotes ou autres mais ou car quand je le lance mon script shell en DEBUG voici l'erreur :

/testzip.sh: line 26: syntax error near unexpected token `('
./testzip.sh: line 26: `$2 == -1 {printf("DELETE FROM simple where mail=\"%s\";DELETE FROM simple_id where id=\"\";\n", $1)} '


Une idée?

Autre question :
Ce n'est pas pour opposé SED ou AWK loin de moi c'est juste que je me demande au niveau de l'optimisation et des performances dans un script laquelle entre SED ou AWK est la moins gourmande en ressources .

Merci
jipicy- 10 juil. 2009 à 15:33
Mais pas la derniére de mon fichier et même si j'en rajoute il ne traite jamais la derniere?
ilan@mail.fr|0

Vérifie qu'il n'y ait aucun caractère vide (espace) après le "0" sur la ligne...
cat -A ton_fichier
ou
sed -n l ton_fichier
;-)
Ajouter un commentaire
Réponse
+0
moins plus
je pense que sed et awk sont aussi peu gourmands et performants l'un que l'autre

$ cat x
#!/bin/bash

awk -F'|' '$2 == -1 {printf("DELETE FROM simple where mail=\"%s\";DELETE FROM simple_id  where id=\"\";\n", $1)} ; $2 == 0 {printf("INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,\x27%s\x27);INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);\n", $1)}' < data
$ 
$ ./x
DELETE FROM simple where mail="33@liv.fr";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'007@froru.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'00844.nen@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'mh@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
DELETE FROM simple where mail="8675@mail.fr";DELETE FROM simple_id  where id="";
DELETE FROM simple where mail="140279@rut.fr";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'77310@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'0022@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'toto98@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
DELETE FROM simple where mail="02vale@mail.com";DELETE FROM simple_id  where id="";
INSERT IGNORE INTO simple_su (acti,mail) VALUES (1,'ilan@mail.fr');INSERT INTO simple_tid (sid,tid) VALUES(LAST_INSERT_ID(),507);
Ajouter un commentaire
Réponse
+0
moins plus
-jipicy y avait bien un espace :
cat -A fichier
ipoan@mail.fr|0 $

Maintenant cela fonctionne

-dubcek cela fonctionne également parfaitement

Mille fois merci a tous les deux.

NS : J'ai un autre post en "base de données" pour une question au cas ou vous maitrisez aussi bien le SQL que SED et AWK ;-)
Ajouter un commentaire
Ce document intitulé « Traitement d'un fichier avec SED ou AWK » issu de CommentCaMarche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.
Dossier à la une
Passage au tout numérique : quel coût pour les particuliers ?