Téléchargement
illégal
Posez votre question Signaler

Grep sur fichier volumineux [Résolu]

userette - Dernière réponse le 23 avril 2009 à 18:03
Bonjour,
J'ai un fichier très volumineux à parcours.
Je voudrais que ma commande grep sorte à la première occurrence trouvée.
Sinon mon script mettrait des jours à se terminer puisque qu'il parcourt à chaque grep touuuuut le fichier.
je sais qu'il y a l'option grep -m NUMBER
mais elle est pas reconnue sur ma machine. peut etre ancienne version.
SVP aidez moi. je bloque la-dessous.
Lire la suite 

Grep sur fichier volumineux »

33 réponses
Réponse
+0
moins plus
Salut,

Tu peux afficher :
grep --version
grep --help
Sinon avec "sed" :
sed -n '/motif/p;q' fichier
;-))
userette - 22 avril 2009 à 18:50
merci pour ta réponse.
j'ai essayé avec sed.
ça me renvoie pas d'erreur sauf que ça ne me renvoie rien du tt.


sed -n '/MOTIF/p;q' File

alors que si je fais sed -n '/MOTIF/p' File --> ça me renvoie une ligne.

aurais-tu une idée? est ce qu'il faut forcer l'affichage?
Ajouter un commentaire
Réponse
+0
moins plus
C'est bizarre ça ;-\

Et comme ça :
sed -n '/MOTIF/{p;};q' File 
???
userette - 22 avril 2009 à 19:02
oui ça marche mais ça parcoure qd meme tout le fichier :(
t'aurais pas une autre idée stp ?

je bloque :(
Ajouter un commentaire
Réponse
+0
moins plus
On peut avoir un bout de ton fichier et le motif à chercher please ?
userette - 22 avril 2009 à 19:09
bout du fichier :

21621623335704|17|
21621623336802|17|
21621623351963|17|
21621623357067|17|
21621623373862|17|
21621623376968|17|
21621623390324|17|
21621623391903|17|
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|
21622010737|17|
21622010822|37|
21622010944|36|
21622011017|14|


le motif à chercher : 21622010039 par exemple.

mon fichier contient 5366202 lignes. donc la recherche complete du fichier prend bcp de temps.
Ajouter un commentaire
Réponse
+0
moins plus
Je t'avoue que je ne comprends plus ;-(((

Avec ton exemple de fichier, effectivement il ne me renvoie rien avec "p;q" :
[tmpfs]$ sed -n '/21622010039/p;q' plop
[tmpfs]$ 

Il me renvoie bien la ligne sans le "q" :
[tmpfs]$ sed -n '/21622010039/p' plop
21622010039|14|


Par contre sur un autre fichier la commande "p;q" marche bien :

[tmpfs]$ cat list.db
toto 0123456789
tata 0555555555
titi 0677775555
tutu 0123456789
tete 0123456789
bobo 0555555555
baba 0987654321
bibi 0555555555
bubu 0123456789

[tmpfs]$ sed -n '/01/p;q' list.db
toto 0123456789
[tmpfs]$ 
Je ne comprends pas ;-(((((

Désolé ;-(
userette - 22 avril 2009 à 19:34
j'ai essayé ton exemple.
en fait, j'ai remarqué que avec sed -n '/01/p;q' list.db il recherche toujours ds la 1ere ligne et quit juste après.

si tu essayait sed -n '/05/p;q' list.db pour voir


stp ça m'aiderait bcp
Ajouter un commentaire
Réponse
+0
moins plus
Effectivement avec une autre ligne que la 1ère ça marche plus ;-\

Bon on va creuser le sujet ;-))
Ajouter un commentaire
Réponse
+0
moins plus
Salut,

Avec perl (j'ai fait un doublon pour tester - voir en gras)
$ cat base
21621623335704|17|
21621623336802|17|
21621623351963|17|
21621623357067|17|
21621623373862|17|
21621623376968|17|
21621623390324|17|
21621623391903|17|
21622010039|14|
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|
21622010737|17|
21622010822|37|
21622010944|36|
21622011017|14|
$ perl -ne 'next unless /^(21622010039)/;print "ligne $. => $1\n"' base
ligne 9 => 21622010039
ligne 10 => 21622010039
$ perl -ne 'next unless /^(21622010039)/;print "ligne $. => $1\n" and exit' base
ligne 9 => 21622010039
jipicy- 22 avril 2009 à 20:39
Salut lami20j,

J'étais à 2 doigts de te demander une solution en Perl car apparemment avec "sed" ce n'est pas possible directement, à moins d'user de moulinettes contre productive ;-((

Merci ;-)

Sinon avec sed il faudrait connaitre au moins le contenu de la ligne suivante pour faire un truc du genre :
$ sed -n '/21622010077/q;/21622010039/p' plop
21622010039|14|
Avec ça ça marche ;-))

PS. Dommage quand même que le "grep -m 1" ne marche pas :
$ grep -m 1 '21622010039' plop
21622010039|14|
;-))
lami20j- 22 avril 2009 à 21:09
Salut jipicy ;-)

De rien ;-))
Ajouter un commentaire
Réponse
+0
moins plus
Re,

Et comme ça?!
$ cat base
21621623335704|17|
21621623336802|17|
21621623351963|17|
21621623357067|17|
21621623373862|17|
21621623376968|17|
21621623390324|17|
21621623391903|17|
21622010039|14|
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|
21622010737|17|
21622010822|37|
21622010944|36|
21622011017|14|
$ while read ligne;do echo $ligne|grep 21622010039 && break;done <base
21622010039|14|
userette - 23 avril 2009 à 09:24
salut à tous,
merci pour toutes vos réponses.
j'aime bien la solution en perl. sauf que je ne m'y connais pas trop en perl.

lami20j, tu peux me dire comment j'extrais toute la ligne et non pas seulement le motif ??????

21622010039|14|


merciiiiiiiiiiiiii
userette - 23 avril 2009 à 09:28
meme avec le while read ...... grep "" && break, ça marche. superrrrrrr

vous me sauvez la vie :) :) :)
Ajouter un commentaire
Réponse
+0
moins plus
Salut,


Avec shell + grep
while read ligne;do echo $ligne|grep -o 21622010039 && break;done <base

En perl
perl -ne 'next unless /^(21622010039)/;print "$1\n" and exit' base

Ajouter un commentaire
Réponse
+0
moins plus
hello
et avec awk
awk '/21622010039/ {print $0;exit} < fichier
userette - 23 avril 2009 à 09:43
lami20j c'est encore moi. désolée d'être aussi pressante mais c pour un truc urgent.

en fait, avec ta commande perl, je n'extrais que le motif. moi je voudrais toute la phrase.

t'aurais pas une idée !!
lami20j- 23 avril 2009 à 09:55
Re,

Essaie
perl -ne 'next unless /^21622010039/;print and exit' base
--
106485010510997108
userette - 23 avril 2009 à 10:58
ok ça marche mnt sauf que si je mets ma commande dans un script :

cat msisdn.txt | while read MSISDN
	do
		echo $MSISDN
		result=`perl -ne 'next unless /^$MSISDN/;print and exit' base`
		echo $result
	done


la commande marche mais ça me sort toujours la 1ere ligne du fichier base

base :
21622010039|14|
21622010077|16|
21622010191|36|
21622010275|16|
21622010352|16|
21622010405|18|
21622010547|14|
21622010664|37|
21622010692|17|
21622010709|36|
21622010720|17|


msisdn.txt :
21622010405
21622010664


bizarre !!!
Ajouter un commentaire
Réponse
+0
moins plus
effectivement
awk '/21622010039/ {print $0;exit}' < fichier
Ajouter un commentaire
Réponse
+0
moins plus
Re,

for MSISDN in $(cat msisdn.txt)
do
  echo $MSISDN
  result=$(perl -ne 'next unless /^$MSISDN/;print and exit' base)
  echo $result
done

Mais je ne comprends pas ce que tu veux.
Comment ça la 1ère ligne?!

Il faut que tu exécutes le script est affiche ici le résultat.
Il faudra aussi que tu affiches ce que tu veux obtenir.

En réalité, tu as posé une question pour un cas particulier, mais il s'avère que le problème doit être traiter de façon globale.

On attends tes explications.
userette - 23 avril 2009 à 11:32
ok. j'ai essayé le code que tu as mis. mais j'ai toujours le même résultat non attendu, à savoir :

21622010405
21622010039|14|
21622010664
21622010039|14|


==> la commande renvoie toujours la 1ere ligne du fichier base


alors que je veux avoir :
21622010405
21622010405|18|
21622010664
21622010664|37|


==> extraire les 1eres lignes relatives aux motifs que je recherche.

any idea please ?
merci
Ajouter un commentaire
Réponse
+0
moins plus
Re,

Tu testes quoi en fait? L'affichage de ton résultat ne suffit pas.

Affiche le résultar de
for MSISDN in $(cat msisdn.txt);do  echo $MSISDN;done



userette - 23 avril 2009 à 11:46
ah ok, j'avais pas compris.
j'avais mis plus haut le contenu de mon fichier :
21622010405
21622010664
Ajouter un commentaire
Réponse
+0
moins plus
alors??
help please !! :(
je desespere
Ajouter un commentaire
Réponse
+0
moins plus
ok ça fonctionne mnt. j'ai juste remplacer les ' par les ". et bizarre ça marche mnt.
le pb c'est que la recherche est tjrs aussi lente.
je vais esaayer d'optimiser
Ajouter un commentaire
Réponse
+0
moins plus
Re,

Il peut avoir un conflit entre une variable shell et perl (je n'ai pas moyens de tester)

Essaie plutôt (je n'ai pas testé)
for MSISDN in $(cat msisdn.txt)
do
  echo $MSISDN
  while read ligne
  do 
      echo $ligne|grep $MSISDN && break
  done < base
done
Ajouter un commentaire
Réponse
+0
moins plus
Dis-moi userette, tu peux essayer ça :
 sed '/21622010039/!d;q' fichier
s'il te plait ;-))
userette - 23 avril 2009 à 15:43
oui ça marche mais ça ne me renvoie pas toute la ligne. que le 21622010039
jipicy- 23 avril 2009 à 15:51
Encore une bizarrerie ;-((

Essaie :
 sed '/21622010039.*$/!d;q'
userette - 23 avril 2009 à 18:03
finalement,
j'ai utilisé
`perl -ne "next unless /^$chaine/;print and exit" base  >> output.txt`


ça marche.
merci à toi jipicy.

merci à tous :))))
Ajouter un commentaire
Ce document intitulé « grep sur fichier volumineux » issu de CommentCaMarche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.
Dossier à la une
Passage au tout numérique : quel coût pour les particuliers ?