[Risolto] wget -nc non sempre funziona
-
rik_rs
- Prode Principiante
- Messaggi: 208
- Iscrizione: lunedì 7 dicembre 2009, 13:20
- Desktop: gnome
- Distribuzione: Ubuntu LTS X86 64 bit
- Contatti:
[Risolto] wget -nc non sempre funziona
wget -k -r -p -E -np -nc -l0
mi funziona praticamente ovunque. Con -nc evito di scaricare pagine gia` esistenti indipendentemente se ce ne sono di piu` nuove (in alternativa a -N che verifica aggiornamenti).
Su alcuni url pero` non funziona. Ad esempio su tutti i forum forumcommunity.net, riscarica comunque tutto, nonostante nel farlo si nota chiaramente che non sta aggiungendo nessun nuovo file, sta solo sovrascrivendo i vecchi.
Qualche idea? Perche` cosi` per scaricare quelli piu` grandi serve lasciare acceso il computer per una vita intera (a cui si aggiunge il fatto che la conversione dei links per uso locale la fa solo a fine lavoro, quindi finche' non termina tutto e` inutile).
mi funziona praticamente ovunque. Con -nc evito di scaricare pagine gia` esistenti indipendentemente se ce ne sono di piu` nuove (in alternativa a -N che verifica aggiornamenti).
Su alcuni url pero` non funziona. Ad esempio su tutti i forum forumcommunity.net, riscarica comunque tutto, nonostante nel farlo si nota chiaramente che non sta aggiungendo nessun nuovo file, sta solo sovrascrivendo i vecchi.
Qualche idea? Perche` cosi` per scaricare quelli piu` grandi serve lasciare acceso il computer per una vita intera (a cui si aggiunge il fatto che la conversione dei links per uso locale la fa solo a fine lavoro, quindi finche' non termina tutto e` inutile).
Ultima modifica di rik_rs il lunedì 13 dicembre 2010, 18:29, modificato 1 volta in totale.
-
rik_rs
- Prode Principiante
- Messaggi: 208
- Iscrizione: lunedì 7 dicembre 2009, 13:20
- Desktop: gnome
- Distribuzione: Ubuntu LTS X86 64 bit
- Contatti:
[Risolto] Re: wget -nc non sempre funziona
Trovato: l'uso di -E (aggiunge .html in coda ai nomi dei files che non hanno estensione) impedisce a wget di capire se il file esiste gia` in quanto la comparazione la fa senza riapplicare prima suddetta regola. In altre parole, se scarica
abc.php?a=1
lo trasforma in
abc.php?a=1.html
e quando si va a rifare il download non e` ingrado di capire che il file e` lo stesso.
Basterebbe che la comparazione gliela facessero fare DOPO aver applicato la stessa regola.... purtroppo invece non e` cosi` e quindi con -E riscaricara sempre tutto.
Tra l'altro, ovviamente solo dopo aver capito il problema, mi sono accorto che c'e` pure scritto in man wget.
abc.php?a=1
lo trasforma in
abc.php?a=1.html
e quando si va a rifare il download non e` ingrado di capire che il file e` lo stesso.
Basterebbe che la comparazione gliela facessero fare DOPO aver applicato la stessa regola.... purtroppo invece non e` cosi` e quindi con -E riscaricara sempre tutto.
Tra l'altro, ovviamente solo dopo aver capito il problema, mi sono accorto che c'e` pure scritto in man wget.
-
rik_rs
- Prode Principiante
- Messaggi: 208
- Iscrizione: lunedì 7 dicembre 2009, 13:20
- Desktop: gnome
- Distribuzione: Ubuntu LTS X86 64 bit
- Contatti:
Re: wget -nc non sempre funziona
Per i passanti con stesso problema faccio un aggiunta.
C'e` anche un altro problema che rende impossibile usare -nc in alcuni casi: quando capitano url del tipo
www.foo.it/?f=1
wget li trasforma in locale con
index.html?f=1
Questo impedisce di fermare il download e riprenderlo successivamente perche` se ci provate dopo una breve scansione che ritorna "file gia` esistente" si ferma tutto anche se ci sono da scaricare ancora un miliardo di links.
Per cui oltre al problema che ho citato prima c'e` anche questo, e non so quanto sia esteso (forse si verifica addirittura con qualsiasi pagina con parametri).
MORALE FINALE:
Lasciate perdere wget per mirroring ed usate httrack a linea di comando (o con interfaccia web). Basta un semplice httrack e tutto fila liscio con possibilita` di interruzione e resume con tanto di aggiornamento che non e` un semplice -nc bensi` usa il timestamp che su wget con -N funziona quando gli pare.
Quindi wget si` per file, ma meglio lasciarlo perdere per i siti a meno che non siano MOLTO ordinari, senza tante stranezze.
C'e` anche un altro problema che rende impossibile usare -nc in alcuni casi: quando capitano url del tipo
www.foo.it/?f=1
wget li trasforma in locale con
index.html?f=1
Questo impedisce di fermare il download e riprenderlo successivamente perche` se ci provate dopo una breve scansione che ritorna "file gia` esistente" si ferma tutto anche se ci sono da scaricare ancora un miliardo di links.
Per cui oltre al problema che ho citato prima c'e` anche questo, e non so quanto sia esteso (forse si verifica addirittura con qualsiasi pagina con parametri).
MORALE FINALE:
Lasciate perdere wget per mirroring ed usate httrack a linea di comando (o con interfaccia web). Basta un semplice httrack e tutto fila liscio con possibilita` di interruzione e resume con tanto di aggiornamento che non e` un semplice -nc bensi` usa il timestamp che su wget con -N funziona quando gli pare.
Quindi wget si` per file, ma meglio lasciarlo perdere per i siti a meno che non siano MOLTO ordinari, senza tante stranezze.
-
mapreri
- Consiglio di Ubuntu-it

- Messaggi: 1678
- Iscrizione: martedì 7 dicembre 2010, 17:52
- Desktop: i3wm
- Distribuzione: Debian unstable (sid) amd64
- Sesso: Maschile
- Località: Milano
- Contatti:
Re: wget -nc non sempre funziona
della serie chi fa per se fa per tre!!!!
Bravo!!!
;D;D
Ora metti risolto all'inizio

Bravo!!!
Ora metti risolto all'inizio
-
rik_rs
- Prode Principiante
- Messaggi: 208
- Iscrizione: lunedì 7 dicembre 2009, 13:20
- Desktop: gnome
- Distribuzione: Ubuntu LTS X86 64 bit
- Contatti:
Re: wget -nc non sempre funziona
Risolto l'avevo gia` messo ma ho sbagliato e l'ho messo al post finale.
Chi c’è in linea
Visualizzano questa sezione: 0 utenti iscritti e 5 ospiti