×
Bienvenue sur le nouveau serveur de l'Aru2L (17 Nov 2012)

Nous voila en phase beta suite à une refonte totale du site de l'aru2L, n'hésitez pas à faire remonter les Bugs que vous pouvez trouver sur contact(@)aru2l.org (enlever les parenthèses) ou en créant un post sur le forum.
Nous vous prions de bien vouloir nous excusez pour la gène occasionnée.

Topic-icon copier une partie d'un site ftp avec wget

Plus d'informations
il y a 9 ans 6 mois #2092 par David
David a créé le sujet : copier une partie d'un site ftp avec wget
Tout est dans le titre :
Autrement dit "comment farcir son disque dur en un rien de temps"

pour pomper tranquillement un site... par exemple :
ftp://ftp.free.fr/mirrors/ftp.mandriva.c...nux/official/2008.1/
il faut :

- créer un répertoire de destination et se placer dedans
mkdir /home/toto/siteftp
cd /home/toto/siteftp/
pour un utilisateur toto et un nouveau répertoire siteftp

- Lancer la commande suivante : wget -m <le site a pomper>
Pour notre magnifique exemple cela donne

wget -m ftp://ftp.free.fr/mirrors/ftp.mandriva.c...nux/official/2008.1/

Attendre quelques heures, jours, semaines, mois, année (rayer la mention inutile en fonction de votre connection) et servir chaud.

Connexion pour participer à la conversation.

Plus d'informations
il y a 9 ans 6 mois #2100 par stephdl
stephdl a répondu au sujet : Re:copier une partie d'un site ftp avec wget
tu m'as eclairé david, après ton coup de genie, si, si, j'insiste...j'ai trouvé comment aspirer un site web

aspirer un site web sous linux

wget -r -l5 -k -E www.unsite.com

Explication :

-r : récursif sur le site
-l5 : cinq niveaux de récursion au maximum
-k : convertir les destinations des liens pour une lecture locale
-E : convertir les types de fichier au format HTML (pour éviter que la lecture de sites en PHP ne foire en lecture sous Firefox).


Pour aller plus loin.

Si vous voulez plus d’options, la page de manuel de wget est pleine d’infos utiles, voici des options très intéressantes :
-t : spécifier combien de fois que wget devrait essayer de télécharger chaque fichier.
-w : spécifier combien de temps attendre entre les essais
-c : demander à wget de continuer un téléchargement interrompu.
-T : spécifier au bout de combien de secondes sans réponse wget abandonne une connexion
--limit-rate : mettre une vitesse de connexion maximale pour ne pas monopoliser votre bande passante
-Q : limiter la place que prendront tous les fichiers téléchargés, pour ne pas trop remplir votre disque dur. Dès qu’à la fin d’un téléchargement le quota sera dépassé, wget s’arrêtera
--load-cookies : importer des cookies (pratique pour les sites où vous devriez être authentifié)
-X : exclure un répertoire

.....être Libre, c'est aussi être Militant.....

stephane (att) de-labrusse (punto) fr

Connexion pour participer à la conversation.

Plus d'informations
il y a 9 ans 6 mois #2117 par David
David a répondu au sujet : Re:copier une partie d'un site ftp avec wget
j'ai pas testé sur un site mais wget -m ... c'est un peu pour coller "les options qui vont bien" pour faire un miroir... cela devrait marcher aussi sur un site :D

Connexion pour participer à la conversation.

Plus d'informations
il y a 9 ans 4 semaines - il y a 9 ans 4 semaines #2568 par stephdl
stephdl a répondu au sujet : Re:copier une partie d'un site ftp avec wget
wget -r -c -l 0 ftp://ftp.free.fr/mirrors/ftp.ubuntu.com/ubuntu/dists/intrepid*

cela marche bien pour telecharger les depots ubuntu :)
ou
wget -r -c -l 0 ftp://mirror.ovh.net/ftp.ubuntu.com/ubuntu/dists/

.....être Libre, c'est aussi être Militant.....

stephane (att) de-labrusse (punto) fr
Dernière édition: il y a 9 ans 4 semaines par stephdl.

Connexion pour participer à la conversation.

Temps de génération de la page : 0.165 secondes