Télécharger automatiquement des liens sur un site web

Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
- - Dernière réponse : PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
- 7 août 2019 à 14:24
Bonjour à tous,

Je souhaite pouvoir récupérer les éléments mis en ligne sur ce site web : https://thetrove.net/Assets/

Le problème étant que, le faire à la main semble plutôt fastidieux, ne pouvant télécharger qu'un élément à la fois, et le site en ayant apparemment des dizaines de milliers..

C'est pourquoi je voudrais savoir comment rendre cela plus rapide, peut-être à partir d'un script python, j'imagine que certains code déjà pré-écrit pourraient servir ? Cependant je ne maîtrise pas encore de langage de programmation.

Merci d'avance pour votre aide !
Afficher la suite 

1 réponse

Messages postés
8330
Date d'inscription
lundi 9 juin 2008
Statut
Contributeur
Dernière intervention
23 août 2019
413
0
Merci
bonjour, tu seras peut-être intéressé par un aspirateur de site web.
PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
-
Bonjour,

Merci, je vais essayer avec HTTrack, cependant je n'avais jamais testé d'aspirateur de site web auparavant, savez-vous si cela me fournira une copie de ce site en local, avec une copie des dossiers et des éléments à l'intérieur de ceux-ci, et pas seulement les liens ?

Merci d'avance !
yg_be
Messages postés
8330
Date d'inscription
lundi 9 juin 2008
Statut
Contributeur
Dernière intervention
23 août 2019
413 > PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
-
c'est censé fournir une copie complète du site en local.
PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
-
Bonjour,

Après plusieurs essais, pour la catégorie qui m’intéresse (Assets) je n’obtiens que des fichiers TMP, inutilisable, cependant pour les autres onglets (qui ne m’intéressent pas malheureusement) l'aspirateur de site web arrive bien à récupérer les ressources mises en lignes..

Auriez-vous une autre solution pour télécharger ce contenu automatiquement ?
yg_be
Messages postés
8330
Date d'inscription
lundi 9 juin 2008
Statut
Contributeur
Dernière intervention
23 août 2019
413 > PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
-
quel est le lien vers ce que tu ne peux pas récupérer?
PhoenixWright38
Messages postés
28
Date d'inscription
dimanche 9 novembre 2014
Statut
Membre
Dernière intervention
7 août 2019
-
C'est le premier lien, celui vers le répertoire Assets que l'aspirateur n'arrive pas à récupérer (ou du moins ne m'en récupère que des fichiers temporaires) : https://thetrove.net/Assets/

Cependant, par exemple, le répertoire Books lui à bien fonctionné, (après un test avec l'aspirateur depuis la racine du site) https://thetrove.net/Books/index.html

Une idée ?
Commenter la réponse de yg_be