Posez votre question Format imprimable Liste des forums Aidez-les Statistiques Rechercher Charte Forum Linux-Unix

Supprimer leslignes en double d'un fichier

Dernière réponse le 13 nov 2009 à 12:00:51 Ssylvainsab, le 17 déc 2007 à 17:59:53

Signaler ce message aux modérateurs

Bonjour.

COmme l'indique le titre, j'ai un fichier texte très gros (presque 20000 Lignes), avec plusieurs lignes en double, en triple, en quadruple, voire des centaines de fois.
J'aurais besoin de supprimer les lignes en double du fichier.
Pour précision, toutes les lignes se terminent par un point-virgule ";" et ce caractère est présent une fois et une seule par ligne.
(en fait chaque ligne est une commande)

Donc je cherche comment faire un script en bash qui parcoure les lignes de mon fichier une à une, et pour chaque ligne vérifie s'il en existe une autre pareille, et si c'est le cas l'efface.

Quelqu'un a-t-il une solution ?
Merci.
--
Sylvain

Meilleures réponses pour « Supprimer leslignes en double d'un fichier » dans :

Suppression des Doublons Voir

Cherche logiciel pour supprimer les doublons Voir

MySQL - Supprimer des doublons dans une table Voir Pour supprimer des doublons au niveau d'une table donnée définie comme suit : CREATE TABLE IF NOT EXISTS TabTest ( cle_prim integer(4) NOT NULL auto_increment, x integer, y integer, z integer, ...

Supprimer les doublons dans une colonne Excel VoirPour extraire les doublons dans une colonne Excel : Cliquer sur le menu "Données" "Filtrer" "Filtre élaboré" Dans ce menu, sélectionner la colonne où se trouvent les doublons Cocher la case "Extraire sans doublon" La seule chose est que...

[Windows] Impossible de supprimer un fichier ou un dossier VoirSi Windows n'arrive pas à supprimer un fichier ou un dossier, la cause peut être l'une des suivantes : Le fichier ou le dossier à supprimer est utilisé par un processus du système Le dossier à supprimer contient des fichiers ou dossiers cachés ...

Restaurer un fichier supprimé par erreur VoirComment restaurer un fichier ? Vous avez supprimé un fichier par erreur ? Rien n'est perdu. Il se trouve peut-être dans la Corbeille. Pour vérifier si le fichier peut être récupéré, ouvrez la corbeille (qui se trouve sur le Bureau). Faire un...

[SQL] Supprimer les doublons (Résolu) Voir

Supprimer définitivement un fichier Voir

Supprimer définitivement des fichiers éffacés Voir

Posez votre question Répondre

spacm, le 17 déc 2007 à 18:11:27

Si l'ordre des lignes n'est pas important:

cat fichier | sort | uniq

sinon, perl est mieux pour ça à mon avis

Répondre à spacm

jipicy, le 17 déc 2007 à 18:13:49

Salut,

Y-a-t'il la possibilité de trier ton fichier avant ? Si oui :

sort -u fichier

;-))

Z'@+...che.
JP : Zen, my Nuggets ! ;-) Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

Ssylvainsab, le 17 déc 2007 à 18:17:23

Trier mon fichier, c'est à dire mettre les lignes identiques les unes après les autres ?
C'est déjà fait ;-)
--
Sylvain

Répondre à Ssylvainsab

jipicy, le 17 déc 2007 à 18:20:29

Alors la solution t'est donnée au-dessus en double ;-))

Z'@+...che.

JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

Ssylvainsab, le 17 déc 2007 à 18:34:21

Merci !
Waow, même avec ce tri, j'ai encore 1000 lignes... ça en fait du code :p
--
Sylvain

Répondre à Ssylvainsab

Bourgeois74, le 13 nov 2009 à 11:25:43

Bonjour
Dans une liste, stockée dans un fichier texte avec un enregistrement par ligne,j'aimerais écrire un commande qui supprime les doublons
kelkun a t il une idée?

Répondre à Bourgeois74

jipicy, le 13 nov 2009 à 11:44:33

Merci de relire le post et notamment la 1ère réponse !
$ man woman
Il n'y a pas de page de manuel pour woman.

Répondre à jipicy

Bourgeois74, le 13 nov 2009 à 11:55:41

Sorry
j'avais pas fait attention car g suis débutant
donc avec : cat fichier | sort | uniq
cela fonctionne!

Répondre à Bourgeois74

jipicy, le 13 nov 2009 à 11:56:29

Teste et tu verras, c'est le meilleur moyen et le meilleur apprentissage ;-))
$ man woman
Il n'y a pas de page de manuel pour woman.

Répondre à jipicy

Bourgeois74, le 13 nov 2009 à 12:00:51

Danke!
merci bien!
ça roule

Répondre à Bourgeois74

Posez votre question Répondre