copiare un sito con un vecchio computer con linux ma anche con windows


ciao a tutti,

spesso navigando nella rete troviamo degli ottimi siti che sarebbero utilissimo averli sempre a disposizione anche quando siamo off-line. Ci sono ottimi programmi che fanno la copia del sito ("mirror" in gergo tecnico, specchio in inglese), ma spesso si tratta di lasciare acceso il computer principale per diversi giorni prima di riuscire a copiarlo tutto. Domanda... perchè diversi giorni? Semplice, molti server web (i computer che ospitano i siti web) sono allergici al mirroring, e spesso, dopo 1o minuti di sfolgorante velocitá di scaricamento, il nostro IP viene bloccato per 1 ora, poi per 2, poi per 4...8....16....32 ore fino a che non spegnamo il programma e andiamo a rompere da un'altra parte.

Il trucco sta nel farlo poco alla volta e simulando una navigazione umana, per questo peró molti non lo fanno non perchè manchino i programmi, ma perché bisogna lasciare acceso il computer grosso per moltissime ore.

In questo caso ritorna utile il vecchio computer (anche un 486) che sicuramente abbiamo in soffitta o che sappiamo recuperare.

Di solito è conveniente installare una distribuzione Linux adeguata (poi apriremo una discussione per questo) e con il programma wget da terminale scarichiamo il nostro sito, che naturalmente sará navigabile anche offline, questo perchè tutti i link interni vengono convertiti automagicamente.


innanzitutto bisgna sapere che i programmi da terminale di linux (e tutti gli altri unix) hanno un manuale online... quindi

man wget

e qui otterrete una lista enorme di opzioni, esempi e spiegazioni.


ma qui voglio dare alcune ricette semplici per ottenere la copia(mirror) navigabile del www.sito-interessante.com


cominciamo con la cosa più semplice

CODICE

#!/bin/bash

OPT=" -c  -T20 --random-wait --limit-rate=30k "

clear
echo scarico il file con le opzioni $OPT

# Capitolo 1
wget $OPT http://www.rtve.es/resources/TE_SAGUI01/flv/8/5/1232131095458.flv \
&& ln -s 1232131095458.flv 01.flv && ffmpeg -i 01.flv -async 1 -sameq 01.avi

# questo è solo un esempio con il primo capitolo :D
# wget scarica il file con le opzioni definite nella variabile $OPT , poi se tutto va bene (&&
# crea un link simbolico tra il file 1232131095458.flv ad un più umano numero di capitolo (01.flv)
# se anche questo passaggio va bene (&& allora si converte in formato avi attraverso l'omnipotente
# ffmpeg mantendo il sync tra audio/video (-async 1) e la stessa qualità (-sameq)

Ecco, questo mi interessa.....
C'è un sito di un tale olandese che contiene diverse migliaia di files PDF di datasheet di valvole e apparecchiature a valvole. Quando usavo Windows, con diversi programmi ho provato sia a scaricarmi il sito che i soli PDF, ma non sono mai riuscito a farlo. Ho scritto al tipo, chiedendogli se potevo scaricare dal suo sito la documentazione che mi interessava e la sua risposta è stata più o meno: "Scarica pure ciò che vuoi".
Ora mi piacerebbe riprovare. Metterlo su CD o su DVD sarebbe di una comodità unica. Anche perché credo che ormai abbia praticamente raggiunto il massimo, sia come documentazione sulle valvole che come documentazione interessante sul resto, almeno per me.
Mi chiedo, però, il "sito" è sparpagliato su più indirizzi e su più link, si può aggirare la cosa e metterlo tutto "insieme" come se fosse tutto sullo stesso disco?
Saluti.
Ferro

mi daresti l'indirizzo di quel sito? non ha capito cosa intendi per

Questo è il link principale.
www.tubedata.info
Questo sotto da dove invece si scaricano i dati delle valvole.
www.mif.pg.gda.pl/homepages/frank/index.html
Viene reindirizzato automaticamente quando clicchi sul link

a quanto capisco si tratta di un sito principale www.tubedata.info in cui mette alcune informazioni, ma non i pdf, e poi ci sono diversi mirror con i pdf, in giro per il mondo

in tal caso dovrai fare 2 mirrors separati impedendo peró di fare la copia di tutti i mirror (con i pdf) esistenti

prova con:

Allora: devo prima scaricare wget e installarlo. Poi apro un terminale e metto quei comandi.
Ho capito bene?


Ho appena verificato.... E me lo da come già installato....
Però non lo trovo nei menù a tendina.
Dove metterà tutto quello che scarica? in una cartella? Dove?

credo che su ubuntu wget venga già installato, ma se non lo fosse apri il terminale e scrivi:

Difatti era già installato. Appena copiati i comandi è partito tutto in quarta! Sia nel primo che nel secondo terminale.

Un sacco di roba..... Sono programmi?

si, ma sono programmi molto specifici... diciamo che la console (il terminale nel tuo caso) somiglia più ad un ambiente di programmazione che altro

per esempio per cercare una certa parola in un file di testo si usa il comando grep magari unito al comando cat

$ cat file.txt | grep parola

che significa:
cattura (leggi) il file.txt e invialo a grep attraverso il Pipe "|" e cerca la parola indicata.

ma naturalmente ci sono un sacco di altre possibilità alcune simili al basic altre al C

ti sei affacciato ad un mondo molto vasto.... vasto almeno come l'elettronica valvolare e ci vorrà un po' di tempo per digerirlo

ciao
MaX

Comprerò un digestivo.....
Per stasera ne ho abbastanza.
Saluti.
Ferro

Linux Power!

Convertitevi che siete ancora in tempo...

Ciao Max, grazie delle indicazioni, anche se poche volte ho usato solamente l'opzione -r con i risultati che ti puoi immaginare..

P.S.
Complimenti per l'incarico (mo so cavoli tua!)
Ciao
Pino

Ferro,

come è andato poi, lo scaricamento dei due siti?