Supprimer leslignes en double d'un fichier [Résolu/Fermé]

Ssylvainsab 2883 Messages postés dimanche 30 juillet 2006Date d'inscriptionContributeurStatut 6 décembre 2017 Dernière intervention - 17 déc. 2007 à 17:59 - Dernière réponse :  samsoul92
- 7 févr. 2015 à 10:06
Bonjour.

COmme l'indique le titre, j'ai un fichier texte très gros (presque 20000 Lignes), avec plusieurs lignes en double, en triple, en quadruple, voire des centaines de fois.
J'aurais besoin de supprimer les lignes en double du fichier.
Pour précision, toutes les lignes se terminent par un point-virgule ";" et ce caractère est présent une fois et une seule par ligne.
(en fait chaque ligne est une commande)

Donc je cherche comment faire un script en bash qui parcoure les lignes de mon fichier une à une, et pour chaque ligne vérifie s'il en existe une autre pareille, et si c'est le cas l'efface.

Quelqu'un a-t-il une solution ?
Merci.
--
Sylvain
Afficher la suite 
2883Messages postés dimanche 30 juillet 2006Date d'inscription ContributeurStatut 6 décembre 2017 Dernière intervention

20 réponses

Bourgeois74 9 Messages postés vendredi 13 novembre 2009Date d'inscription 1 mars 2010 Dernière intervention - 13 nov. 2009 à 11:55
+31
Utile
4
sorry
j'avais pas fait attention car g suis débutant
donc avec : cat fichier | sort | uniq
cela fonctionne!
Cette réponse vous a-t-elle aidé ?  
jipicy 43485 Messages postés jeudi 28 août 2003Date d'inscriptionModérateurStatut 7 novembre 2010 Dernière intervention - 13 nov. 2009 à 11:56
Teste et tu verras, c'est le meilleur moyen et le meilleur apprentissage ;-))
cat fichier | sort -u
zipe31 35169 Messages postés dimanche 7 novembre 2010Date d'inscriptionContributeurStatut 10 décembre 2017 Dernière intervention - 3 juin 2011 à 21:52
boly38 271 Messages postés mercredi 23 février 2011Date d'inscription 29 septembre 2016 Dernière intervention - 16 déc. 2013 à 14:38
petit complément pour une suppression des doublons en une seule ligne, voici ce que j'ai fait (je passe par un fichier temporaire pour éviter d'effacer le fichier que je suis en train de lire) :
(cat monfichier|uniq>monfichier.tmp) &&  mv -f monfichier.tmp monfichier
+4
Utile
je vous donne vite fait un algo pour supprimer les lignes mutiples sans modifier leur ordre initial (scripté en bash mais performant)

il faut copier coller les lignes ci dessous dans un fichier (Je l'ai appelé "vir_ligne_doublon")
un chmod +x dessus.
EN GROS:
je repère les doublons avec les binaire sort et uniq ( super rapidement) et ensuite je filtre chaque ligne une par une avec un filtre qui ne se met a jour qu'avec les lignes en doublon. (Les autres n'ayant pas besoin d'être filtrées)

Utilisation : ./vir_ligne_doublon Fichier_a_épurer
Cela génère un nouveau fichier nommé Fichier_a_épurer.nodoublon

#!/bin/bash
FILE=$1
echo Analyse :
sort $FILE|uniq -c|tee report|awk '$1 > 1'|sed "s/^[^0-9]*\([0-9][0-9]*\) \(.*\)$/Il y a \1 fois: \2/"
echo "Continuer ? (Ou CTRL/C)" ; read A
awk '$1 > 1' report|sed "s/^[^0-9]*[0-9][0-9]* //" > en_doublon
>filtre ; >$FILE.nodoublon
while read LIGNE
do
echo "$LIGNE"|grep -vxf filtre |tee -a $FILE.nodoublon|grep -xf en_doublon >> filtre
done < $FILE
rm en_doublon filtre
echo Nombre de lignes avant et apres
wc -l $FILE*
echo Resultat:
sed "s/^/ /" $FILE.nodoublon
smed_79 1304 Messages postés dimanche 21 septembre 2008Date d'inscriptionContributeurStatut 17 mars 2017 Dernière intervention - 19 oct. 2011 à 04:08
+3
Utile
2
plus simple j'ai trouvé ça Delete duplicate lines : http://textop.us/Lines-tools/Delete-Duplicate-Lines
boly38 271 Messages postés mercredi 23 février 2011Date d'inscription 29 septembre 2016 Dernière intervention - 16 déc. 2013 à 14:30
impossible d'y accéder : "This Account Has Been Suspended" :(
smed_79 1304 Messages postés dimanche 21 septembre 2008Date d'inscriptionContributeurStatut 17 mars 2017 Dernière intervention - 26 juin 2014 à 07:53
spacm 141 Messages postés vendredi 1 juin 2007Date d'inscription 30 août 2016 Dernière intervention - 17 déc. 2007 à 18:11
+2
Utile
si l'ordre des lignes n'est pas important:

cat fichier | sort | uniq

sinon, perl est mieux pour ça à mon avis
jipicy 43485 Messages postés jeudi 28 août 2003Date d'inscriptionModérateurStatut 7 novembre 2010 Dernière intervention - 17 déc. 2007 à 18:13
+1
Utile
Salut,

Y-a-t'il la possibilité de trier ton fichier avant ? Si oui :
sort -u fichier
;-))
samsouma4t2 3 Messages postés mercredi 25 novembre 2009Date d'inscription 11 décembre 2010 Dernière intervention - 11 déc. 2010 à 09:56
+1
Utile
bonjour,
ya pas la même commande (sort -u) sous windows ... j'arrive pas à effacer les doublons .. quand j'essaye avec cette commande il me sort cet erreur (fichier d'entré spécifié deux fois)
Ssylvainsab 2883 Messages postés dimanche 30 juillet 2006Date d'inscriptionContributeurStatut 6 décembre 2017 Dernière intervention - 17 déc. 2007 à 18:17
0
Utile
Trier mon fichier, c'est à dire mettre les lignes identiques les unes après les autres ?
C'est déjà fait ;-)
--
Sylvain
jipicy 43485 Messages postés jeudi 28 août 2003Date d'inscriptionModérateurStatut 7 novembre 2010 Dernière intervention - 17 déc. 2007 à 18:20
0
Utile
Alors la solution t'est donnée au-dessus en double ;-))
Ssylvainsab 2883 Messages postés dimanche 30 juillet 2006Date d'inscriptionContributeurStatut 6 décembre 2017 Dernière intervention - 17 déc. 2007 à 18:34
0
Utile
Merci !
Waow, même avec ce tri, j'ai encore 1000 lignes... ça en fait du code :p
--
Sylvain
Bourgeois74 9 Messages postés vendredi 13 novembre 2009Date d'inscription 1 mars 2010 Dernière intervention - 13 nov. 2009 à 11:25
0
Utile
2
bonjour
Dans une liste, stockée dans un fichier texte avec un enregistrement par ligne,j'aimerais écrire un commande qui supprime les doublons
kelkun a t il une idée?
jipicy 43485 Messages postés jeudi 28 août 2003Date d'inscriptionModérateurStatut 7 novembre 2010 Dernière intervention - 13 nov. 2009 à 11:44
Merci de relire le post et notamment la 1ère réponse !
Bourgeois74 9 Messages postés vendredi 13 novembre 2009Date d'inscription 1 mars 2010 Dernière intervention - 13 nov. 2009 à 12:00
0
Utile
Danke!
merci bien!
ça roule
0
Utile
Merci pour le script
tres bon travail.