Flux rss
Collection CommentÇaMarche.net
Rechercher : dans
Par : Mots clés Nom d'utilisateur
Messages sans réponse

[Script Bash] découpage de lignes

Benj, le lundi 16 avril 2007 à 14:48:59 
 Signaler ce message aux modérateurs

Bonjour,

j'ai a travailler sur des fichiers textes composé de plusieurs milliers de lignes.
Je dois effectuer du decoupage sur chacune des lignes. Seulement si je passe la ligne en variable, les espaces multiples sont supprimés. Mon découpage est strict et ce base sur le nombre de caractères, qui malheureusment change si les espaces multiples sont supprimés.
Est t-il possible d'attribuer une chaine de caracteres en variables sans perdre les espaces multiples ?
Le but final etant d'inserer un caractère, dans mon cas la virgule, avant chaque champ (46 par ligne)


Cordialement,
benj

1

dubcek, le lundi 16 avril 2007 à 15:28:51

Une possibilité est de modifier la variable IFS qui considère chaque blanc comme un séparateur.
sinon pourquoi passer par une variable, par exemple remplacer chaque espace par virule espace avec sed:
sed 's/ /, /g' fichier

Répondre à dubcek

2

Benj, le lundi 16 avril 2007 à 15:39:07

La technique avec sed n'est pas bonne car mes lignes se présente comme ca :
"ED5.13699 89988032 ..."

et les champs sont :
ED5.1
3699
89988032

Comme tu peux le voir, certains champs sont collés!

Si tu pouvais develloper sur IFS, ca ne me dit rien, je debute :)

Répondre à Benj

3

jipicy, le lundi 16 avril 2007 à 15:45:12

Salut,

IFS= Input Field Separator (Séparateur de champs en entrée).

Par contre peux-tu nous coller un morceau plus grand de ton fichier, et être plus précis sur le découpage à faire (exemple plus détaillé ou sur 2 ou 3 lignes).
Merci.

;-)) Z'@+...che.

JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

4

Benj, le lundi 16 avril 2007 à 15:56:19

Je veux bien mais c'est lourd :).
C'est donc les 2 premieres lignes. La premiere d'ecrit le format des lignes suivantes.
Premiers champs s'appel TicketVersion, commence au caracteres 1, finit au 5, de type L(texte).
La ligne suivante est un exemple des 2000 lignes qui vont suivre.
Mon projet est d'inserer la valeur de chaque champs dans une base mysql, je souhaite donc decoupé chaques champs par des virgules, pour importer le fichier de sortie dans la base. Mon code marche mais est tres longs !!! 40min pour 2000 lignes. Ce qui n'est pas exploitable.
Comme je ne sais pas comment stocker la ligne avec tous les espaces, je "cat" le fichier + un tail et un head pour recuperer la ligne a chaque fois :o ce qui fait beaucoup de cat.

Exemple de fichier a traité :

#TicketVersion,1,5,L,CalledNumber,6,35,L,ChargedNumber,36,65,L,ChargedUserName,66,85,L,ChargedCostCenter,86,95,L,ChargedCompany,96,111,L,ChargedPartyNode,112,116,L,Subaddress,117,136,L,CallingNumber,137,166,L,CallType,167,168,R,CostType,169,169,N,EndDateTime,170,186,N,ChargeUnits,187,191,R,CostInfo,192,201,R,Duration,202,211,R,TrunkIdentity,212,216,R,TrunkGroupIdentity,217,221,R,TrunkNode,222,226,R,PersonalOrBusiness,227,227,N,AccessCode,228,243,L,SpecificChargeInfo,244,250,N,BearerCapability,251,251,N,HighLevelComp,252,253,R,DataVolume,254,263,R,UserToUserVolume,264,268,R,ExternFacilities,269,308,N,InternFacilities,309,348,N,CallReference,349,358,R,SegmentsRate1,359,368,R,SegmentsRate2,369,378,R,SegmentsRate3,379,388,R,ComType,389,389,N,X25IncomingFlowRate,390,391,R,X25OutgoingFlowRate,392,393,R,Carrier,394,395,R,InitialDialledNumber,396,425,L,WaitingDuration,426,430,R,EffectiveCallDuration,431,440,R,RedirectedCallIndicator,441,441,R,StartDateTime,442,458,N,ActingExtensionNumber,459,488,L,CalledNumberNode,489,493,R,CallingNumberNode,494,498,R,InitialDialledNumberNode,499,503,R,ActingExtensionNumberNode,504,508,R,TransitTrunkGroupIdentity,509,513,R,NodeTimeOffset,514,519,R
ED5.13699 89988032 Pro-ACD2 Dinamo 7710 0220061212 13:27:25 0 0 39 1 110 77102 00000002 1 0 010000000000000000000000000000000000000000000000000000000000000010000000000001000 0 0 0 01 0 0 03699 0 0020061212 13:26:4689988032 9999 9999 9999 771032767 0

Répondre à Benj

5

Benj, le lundi 16 avril 2007 à 16:24:04

Hum je m'en doutais j'ai un peu demonté la page mais bon ca ma permis de me rendre compte que les espaces disaparaisse aussi en html :p je les remplaces par des étoiles histoire que vous voyez ce que ca donne :
ED5.13699**************************89988032*****************­******Pro-ACD2*Dinamo********************************7710***­************************************************022006121213­:27:25****0*********0********39****1**110*77102*************­***00000002*1*********0****010000000000000000000000000000000­000000000000000000000000000000010000000000001000*********0**­*******0*********0*********01*0*0*03699*********************­*********0*********0020061212*13:26:4689988032**************­*********9999*9999*9999*771032767*****0

Répondre à Benj

6

jipicy, le lundi 16 avril 2007 à 18:18:12

Re-

J'ai du mal à saisir ce que tu veux vraiment entre ce que tu dis dans ton post #0 (inserer un caractère, dans mon cas la virgule, avant chaque champ) et ton post #2 (Comme tu peux le voir, certains champs sont collés! "ED5.13699").
Essaie ça avec sed :

sed 's/[ ][ ]*/,/g'
Ça marche sur tous les espaces (1 ou +).
Z'@+...che.
JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

7

Benj, le mardi 17 avril 2007 à 09:07:23

Je vais testé mais je pense pas que le résultat sera celui dont j'ai besoin, je reexplique pour l'histoire de champs collé avec un petit exemple du résultat souhaité :
ligne brut (du moins le debut, soit les 3 premiers champs) :
ED5.13699**************************89988032
ligne traité (n'oublions pas que les etoiles sont en faites des espaces :
,ED5.1,3699**************************,89988032

Comme tu peux le remarquer il n'y a pas d'espace entre les 2 premiers champs, c'est pourquoi je n'utilise pas l'espace comme séparateur. Je me sert des index donnés par la premiere ligne :
#TicketVersion,1,5,L,CalledNumber,6,35,L,ChargedNumber,36,65­

je te donne ma ligne de code qui me permet de découpé ma chaine actuellement :
cat $fichier | tail -n $nombredetickets | head --bytes=$indexvalue | tail --bytes=$temporaire

$fichier est le fichier texte d'origine
$nombredetickets est le nombre de ligne - 1 (- la premiere #....) (la variable est decrementer a chaque boucle pour traité la ligne suivante)
$indexvalue c'est le nombre de caractères pour arrivé jusqu'a la fin de la valeur a recupéré
$temporaire c'est les n derniers bytes a prendre pour récupéré la valeurs

un peu compliqué je traduit, pour recuperer le 2eme champs on a la ligne :
ED5.13699**************************89988032...
on prend les 35 premiers caratères :
ED5.13699**************************
puis les 35-(6-1):
3699**************************

Youpi ! on a recuperer notre champs, ensuite je concatene avec une virgule et je rajoute ca dans un fichier de sortie.
Le probleme que j'ai c'est que je fait un cat sur un fichier de 2300 ligne, un peu plus de 2300 fois, ce qui rend horriblement longs le script :|

Je me doute que ca irait plus vite en python ou peut etre awk, mais je ne connais pas du tout c'est language :/

Merci de consacrer du temps pour mon problème. Si il y a toujours des points noirs dans mes expliquations n'hésite pas :)

Répondre à Benj

8

Benj, le mardi 17 avril 2007 à 13:29:43

Neo a dit : trinity aide moi !
benj crie : jipicy aide moi !

Je bloque la :|

Si t'as un peu de temps a consacrer a mon gros problème :)

Répondre à Benj

9

jipicy, le mardi 17 avril 2007 à 14:49:12

Si t'as un peu de temps a consacrer a mon gros problème :)

Ben j'y bosse depuis ce matin (sans compter hier soir ;-) ), et je cale aussi.

Patience ;-)) Z'@+...che.

JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

10

Benj, le mardi 17 avril 2007 à 14:58:33

Héhé
Merci, courage :p

Répondre à Benj

11

jipicy, le mardi 17 avril 2007 à 19:35:24

Bon j'avance un peu, mais je cale toujours sur un ch"tit détail qui me fout tout en l'air !!!

En gros :
- j'isole la 1ère ligne
- dans une boucle j'extrais les valeurs (1 et 6) dans 2 variables
- je passe ces deux variables à "awk" via "substr" (merci "phil" au passage) pour imprimer (en sortie dans un fichier) normalement la chaîne résultant de cet intervalle suivie d'une virgule. (mais c'est là que ça merdoie !!!??? et je sais pas pourquoi !!??)
- puis je boucle pour les autres champs (6,35) etc... (et ça continue de merdoyer là aussi ;-(( )
- quand la ligne est finie, on lit la suivante...

Voilà le script qui foire ;-(

#! /bin/bash

# Variables
#+ fichier
fich="benj.txt"
#+ 1ère ligne référence
L1=$(sed '1!d' benj.txt)
#+ compteur incrémentiel nombre de champs
i=0
#+ référence de départ valeur1 et valeur2 (caractère)
val1="2"
val2="3"
#+ nombre de champs
nbr_champ=$(sed -n '1p' $fich |awk -F, '{print NF}')

# tant qu'on lit une ligne
while read line
# faire
do
# tant que le compteur de champs est inférieur au nombre de champs
while [ "$i" -lt "$nbr_champ" ]
# faire
do
# initialisation des variables à la valeur correspondante au champ
#+ égal à $valx
C1=$(echo "$L1" | awk -F, ' { print $'"$val1"' }')
C2=$(echo "$L1" | awk -F, ' { print $'"$val2"' }')

echo "$line" | awk '{ print substr($0,'"$C1"','"$C2"')"," }' | tee -a tmp.txt

val1=$(expr $val1 + 4)
val2=$(expr $val2 + 4)
i=$(expr $i + 4)

done
done < <(sed '1d' $fich)
Si vous avez des idées... merci ;-))
Z'@+...che.
JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

12

jipicy, le mardi 17 avril 2007 à 21:31:46

Voilà un truc qui semble marcher. A tester donc :

#! /bin/bash

# Variables
#+ fichier
fich="benj.txt"
#+ 1ère ligne référence
L1=$(sed '1!d' benj.txt)
#+ compteur incrémentiel nombre de champs
i=0
#+ référence de départ valeur1 et valeur2 (caractère)
val1="2"
val2="3"
#+ nombre de champs
nbr_champ=$(sed -n '1p' $fich |awk -F, '{print NF}')

# tant qu'on lit une ligne
while read line
# faire
do
# tant que le compteur de champs est inférieur au nombre de champs
while [ "$i" -lt "$nbr_champ" ]
# faire
do
# initialisation des variables à la valeur correspondante au champ
#+ égal à $valx
C1=$(echo "$L1" | awk -F, ' { print $'"$val1"' }')
if [ "$C1" == 1 ]
then C1="0"
fi
C2=$(echo "$L1" | awk -F, ' { print $'"$val2"' }')
#+ extraction de la longueur de la chaîne
C2=$(($C2-$C1))

# extraction de la chaîne correspondant à l'intervalle
echo "$line" | awk '{ print substr($0,'"$C1"','"$C2"')"," }' >> tmp.txt

# incrémentation des variables (+4 champs)
val1=$(expr $val1 + 4)
val2=$(expr $val2 + 4)
i=$(expr $i + 4)

done
i=0
val1="2"
val2="3"
# on supprime la virgule de la dernière ligne
sed -i '$ s/,$//' tmp.txt
done < <(sed '1d' $fich)

# on supprime le saut de ligne final de chaque ligne se terminant par une virgule
#+ (on colle chaque ligne)
sed -e ':a' -e '/,$/N; s/\n//; ta' tmp.txt > fichier.txt
;-))
Z'@+...che.
JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

13

Benj, le mercredi 18 avril 2007 à 10:28:30

J'imagine que tu vas me tuer !
Test sur un fichier de 2313 lignes 23min :)
avec mon programme 27min !
Bon c'est déjà un mieux mais au total par jour il faut compté un traitement 5x plus long pour 260 machines :o irréalisable.
Je suis choqué qu'un traitement simple d'un fichier texte de quelques Ko soit aussi longs que l'encodage d'une vidéo :)
Faudrait faire ca avec un language compilé peut etre.
Ou comme l'étape suivante est d'inséré chaque champ dans une BD, le faire directement.
Je bloque là

any idea ?

ps : ca fera combien d'aspirine pour ce casse tete ?

Répondre à Benj

14

jipicy, le mercredi 18 avril 2007 à 14:52:45

Non, pas de meurtre en perspective, du moins pas z'encore ;-))

Ben oui faudrait voir avec Perl, mais le spécialiste maison, j'ai nommé "lami20j", est absent pour un mois... Donc faudra patienter.

Sinon voir aussi du côté du "C", mais là encore c'est pas mon domaine.
Si "mamiemando" passe dans le coin... ;-))
Z'@+...che.

JP : Zen, my Nuggets ! ;-)
Le savoir n'est bon que s'il est partagé.

Répondre à jipicy

15

Benj, le mercredi 18 avril 2007 à 15:17:28

Erf faudrait que ca marche avant la fin de la semaine prochaine :D
Bon ben me reste a apprendre un nouveau language ^^
Merci quand meme de t'avoir penché sur le problème :)

Répondre à Benj

16

 Benj, le mercredi 18 avril 2007 à 15:20:10

"de t'avoir penché sur le probleme"

de t'etre penché sur le probleme oO
je vais me pendre, a plus tard ;)

Répondre à Benj
Deplacement d arborescence dans script bash Bonjour ceci est tres important c est pour un projet en master info et g un dernier prob ke j arrive pas a regler : je lance un script bash, dans ce script je fais cd yyyy ca va dedans, mais des que je sors je retourne dans le bash parent et je ne... www.commentcamarche.net/forum/affich-1516257-deplacement-d-arborescence-dans-script-bash
[script bash] quelles commandes utiliser ? Bonjour ! Je suis étudiant en IUT d'informatique et j'ai un projet script a réaliser pour dans environ 1 mois. J'ai quelques questions concernant des commandes que je n'arrive pas à trouver: - Je souhaiterais créer un fichier texte de plusieurs lignes... www.commentcamarche.net/forum/affich-1370279-script-bash-quelles-commandes-utiliser
Utilisation de grep dans un script bash (Résolu) Bonjour, J'ai un petit problème. Je voudrais utiliser la commande grep dans un scrip bash mais je n'y arrive pas. Voilà mon script: #!/usr/local/bin/bash source commun recupererTexte_Toto() { local path=$1 local resultat="'grep Toto $path | cut -f 4 ... www.commentcamarche.net/forum/affich-1739309-utilisation-de-grep-dans-un-script-bash
Comment lire un fichier ligne par ligneComment lire un fichier ligne par ligne Préambule Boucle while Syntaxe Exemple Astuces Bonus Boucle for Syntaxe Préambule Une des erreurs les plus communes dans l'apprentissage des scripts "bash" sous GNU/LInux pour lire un fichier... www.commentcamarche.net/faq/sujet-5027-comment-lire-un-fichier-ligne-par-ligne
Exécuter un script shellExécution d'un script Pour pouvoir exécuter un script ou un programme en ligne de commande il y a plusieurs possibilités : 1. Le chemin absolu 2. Le chemin relatif 3. Modifier la variable PATH Note: Le Sha-Bang Premièrement,... www.commentcamarche.net/faq/sujet-4627-executer-un-script-shell
Bash - Les paramètresIntroduction Les paramètres positionnels Exemple 1 Les paramètres spéciaux Exemple 2 Initialiser des paramètres - La commande "set" - Exemples - La commande "shift" - Exemple 3 Introduction Il est possible de fournir à un script,... www.commentcamarche.net/faq/sujet-5444-bash-les-parametres
Script bash/mount smbfs (Résolu)Bonjour, Je n'arrive pas a comprendre pourquoi mon script bash ne fonctionne pas au niveau du mount du smbfs. Voici mon script : #!/bin/sh # ============================================ # BACKUP SERVER CONFIG ======================= #... www.commentcamarche.net/forum/affich-11576467-script-bash-mount-smbfs
Problème de condition dans un script bashBonjour, j'ai un petit probleme de syntaxe pour mon script dans la phase de suppression... c'est un petit script mais avec pas mal de commande #!/bin/bash ################################################################################... www.commentcamarche.net/forum/affich-4680682-probleme-de-condition-dans-un-script-bash
Recuperation variable du php au script bashBonjour, jai un problem de recuperation de variable d'un formulaire php qui doivent servir dans l'execution d'un script en bash. j'appel le script bash à partir du scipt php par la methode POST. kel commande du bash me faut il pour recuperer les... www.commentcamarche.net/forum/affich-4153132-recuperation-variable-du-php-au-script-bash