Rechercher : dans
Par :

Comparaison ligne à ligne dans fichier unix

Dernière réponse le 8 avr 2008 à 10:19:47 lestat2008, le 3 avr 2008 à 17:33:47 
 Signaler ce message aux modérateurs

Bonjour à tous,

Une seule chose à dire, à l'aiiiiiiidddddddddeeeeeeeeeeuuuuuu,

plaisanterie mise a part, voila ce sur quoi je bloque depuis quelques jours, j'ai un fichier unix qui contient des lignes successives identiques et ce plusieurs fois dans le fichier, comme par exemple :

[bloc1]
AA
BB
CC
DD
DD
[bloc2]
EE
FF
DD
[bloc3]
GG
HH
II
DD
DD

Mon but est de supprimer toutes les lignes identiques successives de manière à trouver en sortie un fichier du type :

[bloc1]
AA
BB
CC
DD
[bloc2]
EE
FF
DD
[bloc3]
GG
HH
II
DD

D'avance merci pour votre support,

Cdlt.

Configuration: sun solaris 10

Meilleures réponses pour « comparaison ligne à ligne dans fichier unix » dans :
Sed - Supprimer une ou plusieurs lignes d'un fichier VoirSupprimer une (ou plusieurs) ligne(s) d'un fichier Syntaxe sed '{[/]||[/]}d' sed '{[/][,][/]d' /.../ = délimiteurs n = le numéro de ligne chaîne = la chaîne contenue dans la...
Sed - Substitution VoirSubstitution Substitution basique Simple Globale Ciblée Substitution conditionnée Simplee Avancée Bloc Avancéé Substitution basique Simple - 1ère occurrence (de chaque ligne) rencontrée uniquement sed 's/la/LA/' fichier.txt
UNIX - Les fichiers VoirIntroduction aux fichiers Unix Sous les systèmes UNIX tout élément est représenté sous forme de fichier. L'ensemble des fichiers est architecturé autour d'une unique arborescence dont la base, appelée racine, est notée «/». Types de...
Commandes UNIX VoirTableau des principales commandes UNIX Commande Unix Description Options ls liste le contenu d'un répertoire -a Affiche tous les fichiers, y compris les fichiers cachés ...

1

jipicy, le 3 avr 2008 à 17:46:03

Salut,

[tmpfs]$ cat plop
[bloc1]
AA
BB
CC
DD
DD
[bloc2]
EE
FF
DD
[bloc3]
GG
HH
II
DD
DD
[tmpfs]$ uniq plop
[bloc1]
AA
BB
CC
DD
[bloc2]
EE
FF
DD
[bloc3]
GG
HH
II
DD
[tmpfs]$
;-))
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

2

lestat2008, le 3 avr 2008 à 17:55:29

Merci pour ta réactivité mais je vais préciser encore un point qui risque de compliquer les choses, à savoir que dans ce fameux fichier, j'ai d autres lignes identiques que je ne souhaite pas supprimer or la commande uniq supprime TOUS les doublons (enfin il me semble) et je ne cherche qu'à supprimer en doublon en particulier, typiquement cela donne a peu près ça :

[bloc1]
AA
BB
CC
DD
DD
[bloc2]
EE
AA
FF
DD
[bloc3]
GG
HH
BB
II
CC
DD
DD

donc pour être plus précis, je ne cherche qu'à supprimer les doublons du type DD et non pas tous les autres qui peuvent apparaitrent, j'espère avoir été suffisament explicite cette fois-ci, désolé.

Merci d'avance.

Répondre à lestat2008

3

jipicy, le 3 avr 2008 à 20:27:57

Je n'ai rien inventé, c'est juste une adaptation de la syntaxe trouvée dans "info sed" qui émule la fonction "uniq"...(j'ai rajouté quelques doublons au cas ou)

[tmpfs]$ cat plop
[bloc1]
AA
BB
CC
CC
DD
DD
DD
[bloc2]
EE
AA
FF
FF
DD
[bloc3]
GG
HH
HH
BB
II
CC
DD
DD
DD

[tmpfs]$ sed 'h;:z;$b;N;/\(DD\)\n\1$/{g;bz};$b;P;D' plop
[bloc1]
AA
BB
CC
CC
DD
[bloc2]
EE
AA
FF
FF
DD
[bloc3]
GG
HH
HH
BB
II
CC
DD
[tmpfs]$ 
;-))
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

4

lestat2008, le 4 avr 2008 à 14:46:08

Merci pour ta réponse mais lorsque j'éxécute la commande, j'ai le retour suivant :

$sed 'h;:z;$b;N;/\(DD\)\n\1$/{g;bz};$b;P;D' test.txt > test2.txt
Label too long: h;:z;$b;N;/\(DD\)\n\1$/{g;bz};$b;P;D

de plus, pourrais-tu développer le contenu de la commande ?

je sais, je suis chiant mais j'aime comprendre ce que je fais :P pour ne plus avoir à redemander après ;)

D'avance, merci.

Répondre à lestat2008

5

jipicy, le 4 avr 2008 à 15:02:19

Label too long: h;:z;$b;N;/\(DD\)\n\1$/{g;bz};$b;P;D
Ça c'est bizarre dans la mesure ou le label (étiquette) ne contient qu'une lettre (z) ;-\
Quelle version de "sed" ?

Concernant les explications, tu peux les trouver dans le "info sed" (si les pages infos sont installées sur ton système), sinon ça s'explique comme ça :

h		# mettre le contenu de l'espace de travail dans la mémoire annexe
:z		# étiquette (label)
$ b		# si la dernière ligne est atteinte, se brancher à la fin du script
N		# ajouter la ligne suivante dans l'espace de travail
/\(DD\)\n\1$/ {	# si l'espace de travail ressemble comme 2 gouttes d'eau à 
		#+ DD suivi d'un saut de ligne (\n) et suivi par DD (\1) est en fait la
		#++ représentation de la 1ère sous-expression (\...\)
    g		# l'écraser en remettant le contenu de la mémoire annexe
    b z		# se brancher à l'étiquette "z"
}		# fin du groupement de commande
$ b		# si la dernière ligne est atteinte, se brancher à la fin du script
P		# envoyer sur la sortie standard le contenu de l'espace de travail
		#+ compris entre le début et le premier caractère représentant
		#++ un saut de ligne (\n)
D		# effacer le contenu de l'espace de travail
		#+ compris entre le début et le premier caractère représentant
		#++ un saut de ligne (\n)
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

6

lestat2008, le 8 avr 2008 à 08:43:11

Bonne question pour la version de sed et comment l'obtiens tu ? sachant que la commande sed --version ne fonctionne pas sur mon serveur solaris :(

Répondre à lestat2008

7

jipicy, le 8 avr 2008 à 09:12:33

Essaie de taper "sed" tout seul sur la ligne de commande, normalement une aide devrait être affichée...
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

8

lestat2008, le 8 avr 2008 à 10:00:49

Marche po :'( est ce que tu penses qu'en essayant avec une distribution linux recente comme la ubuntu 7.10, j'aurai plus de chance d'obtenir le résultat escompté ?

Répondre à lestat2008

9

jipicy, le 8 avr 2008 à 10:03:50

Ben oui ;-))

En dernier recours pour la version essaye :

strings /bin/sed | grep -i ver
en remplaçant "/bin/sed" par le bon chemin sur ton système...
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

10

jipicy, le 8 avr 2008 à 10:07:11

Merci gogole ;-))
JP - Éleveur de pingouins -
Faites un geste pour l'environnement, fermez vos fenêtres et adoptez un manchot.

Répondre à jipicy

11

 lestat2008, le 8 avr 2008 à 10:19:47

Lol, bon malheureusement je n'ai pas de serveur linux a disposition ce matin mais je testerai cet apres midi, encore merci pour ton aide :)

Répondre à lestat2008
Collection CommentÇaMarche.net