Script shell de traitement d'un page web

Fermé
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016 - 4 avril 2016 à 01:27
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016 - 4 avril 2016 à 17:53
Bonjour,
je cherhce a un script shell qui permet de traiter un fichier html télécharger a partir d'un page web par la commande wget .

je vous calculer le nombre et la taille des images qui existe dans le fichier ainsi que les fichiers js et css


A voir également:

2 réponses

Salut,

Il nous faudrait un exemple de page à traiter, les parties à récupérer ainsi que le résultat attendu.
0
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016
4 avril 2016 à 10:42
j'ai essayer a développer un script mais j'ai besoin de récupérer plus d'information comme la taille des images et js et css ainsi que l’adresse ip le nombre du requête qui exite dans la page le temps de réponse :

#!/bin/bash
#first script
wget $1 -O page.html

#curl
#VARE[0]=""
if [ $? -ne 0 ]
then
VARE[0]="Impossible de se connecter, Veuillez verifier votre url et votre connexion internet"
echo ${VARE[0]}
echo *#*
exit
fi
#chmod 777 page.html
FILENAME=page.html
#md5=($(md5sum $FILENAME))
VARE[1]=$(md5sum $FILENAME)

#nbr_images=($(grep -o -c '<img ' $FILENAME ))
egrep -o '<img '*' src=' $FILENAME>count.txt

VARE[2]=$(egrep -o -c '<img '*' src=' count.txt )


#nbr_file_css=($(grep -o -c '<link '.'*.css' $FILENAME ))
egrep -o 'rel="stylesheet' $FILENAME>count.txt

VARE[3]=$(egrep -o -c 'rel="stylesheet' count.txt )

#nbr_file_js=$(grep -o -c '<script '.'*.js' $FILENAME)
egrep -o 'src="[^"]*\.js' $FILENAME>count.txt

VARE[4]=$(egrep -o -c 'src="[^"]*\.js' count.txt )
rm count.txt

#FILESIZE=$(stat -c%s "$FILENAME")
VARE[5]=$(stat -c%s "$FILENAME")

#DATE_TEST=$(date '+%Y-%m-%d-%R-%S')
VARE[6]=$(date '+%Y-%m-%d-%R-%S')
#get ip adress
nslookup $1 > ip.txt
VARE[7]=$(tail -n 2 ip.txt)

echo ${VARE[1]}
echo *#*
echo ${VARE[2]}
echo *#*
echo ${VARE[3]}
echo *#*
echo ${VARE[4]}
echo *#*
echo ${VARE[5]}
echo *#*
echo ${VARE[6]}



0
UnGars > sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016
4 avril 2016 à 10:52
Ok pour ton script, mais peut-on avoir le lien de la page à traiter ?
0
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016
4 avril 2016 à 11:04
pour le lien je prend par exemple
wget $1 -O 	page.html

je prend a un url aléatoire par exemple commentcamarche.com
0
Pour récupérer le poids d'une image (en octet) :
curl -s --head http://adresse.image.png | grep -Po 'Content-Length: \K.*'
0
Utilisateur anonyme
4 avril 2016 à 13:33
Salut,

Ce que tu cherches à faire, c'est exactement ce que fait l'onglet "network" du navigateur dans "inspecter" l'élément.

Pourquoi ne pas utiliser cet outil directement ?
0
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016
4 avril 2016 à 14:27
mon objectif est de développer un application web qui utilise des scripts sell qui permet de détecter la différence entre deux version d'un page web et calculer
0
sahhra_ahhra Messages postés 10 Date d'inscription lundi 23 mars 2015 Statut Membre Dernière intervention 4 avril 2016
4 avril 2016 à 17:53
merci UnGars de votre aide (y)
0