VIVEZ LE
FOOTBALL !

Posez votre question Signaler

Supprimer leslignes en double d'un fichier [Résolu]

Ssylvainsab 2869Messages postés 30 juillet 2006Date d'inscription 30 septembre 2010Dernière intervention - Dernière réponse le 19 oct. 2011 à 04:08
Bonjour.
COmme l'indique le titre, j'ai un fichier texte très gros (presque 20000 Lignes), avec plusieurs lignes en double, en triple, en quadruple, voire des centaines de fois.
J'aurais besoin de supprimer les lignes en double du fichier.
Pour précision, toutes les lignes se terminent par un point-virgule ";" et ce caractère est présent une fois et une seule par ligne.
(en fait chaque ligne est une commande)
Donc je cherche comment faire un script en bash qui parcoure les lignes de mon fichier une à une, et pour chaque ligne vérifie s'il en existe une autre pareille, et si c'est le cas l'efface.
Quelqu'un a-t-il une solution ?
Merci.
--
Sylvain
Lire la suite 

Supprimer leslignes en double d'un fichier »

14 réponses
Réponse
+11
moins plus
sorry
j'avais pas fait attention car g suis débutant
donc avec : cat fichier | sort | uniq
cela fonctionne!
jipicy- 13 nov. 2009 à 11:56
Teste et tu verras, c'est le meilleur moyen et le meilleur apprentissage ;-))
erreer - 3 juin 2011 à 21:18
cat fichier | sort -u
zipe31- 3 juin 2011 à 21:52
Hein ?
Ajouter un commentaire
Réponse
+1
moins plus
si l'ordre des lignes n'est pas important:

cat fichier | sort | uniq

sinon, perl est mieux pour ça à mon avis
Ajouter un commentaire
Réponse
+1
moins plus
Salut,

Y-a-t'il la possibilité de trier ton fichier avant ? Si oui :
sort -u fichier
;-))
Ajouter un commentaire
Réponse
+1
moins plus
plus simple j'ai trouvé ça Delete duplicate lines : http://textop.us/Lines-tools/Delete-Duplicate-Lines
Ajouter un commentaire
Réponse
+0
moins plus
Trier mon fichier, c'est à dire mettre les lignes identiques les unes après les autres ?
C'est déjà fait ;-)
--
Sylvain
Ajouter un commentaire
Réponse
+0
moins plus
Alors la solution t'est donnée au-dessus en double ;-))
Ajouter un commentaire
Réponse
+0
moins plus
Merci !
Waow, même avec ce tri, j'ai encore 1000 lignes... ça en fait du code :p
--
Sylvain
Ajouter un commentaire
Réponse
+0
moins plus
bonjour
Dans une liste, stockée dans un fichier texte avec un enregistrement par ligne,j'aimerais écrire un commande qui supprime les doublons
kelkun a t il une idée?
jipicy- 13 nov. 2009 à 11:44
Merci de relire le post et notamment la 1ère réponse !
Ajouter un commentaire
Réponse
+0
moins plus
Danke!
merci bien!
ça roule
Ajouter un commentaire
Réponse
+0
moins plus
bonjour,
ya pas la même commande (sort -u) sous windows ... j'arrive pas à effacer les doublons .. quand j'essaye avec cette commande il me sort cet erreur (fichier d'entré spécifié deux fois)
Ajouter un commentaire
Ce document intitulé « Supprimer leslignes en double d'un fichier » issu de CommentCaMarche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.
Dossier à la une
Passage au tout numérique : quel coût pour les particuliers ?