[RISOLTO]rsync forzare update file in caso di errore broken pipe

Linguaggi di programmazione: php, perl, python, C, bash e tutti gli altri.
giuseppe500
Scoppiettante Seguace
Scoppiettante Seguace
Messaggi: 413
Iscrizione: martedì 22 maggio 2012, 14:04
Distribuzione: 12.04

[RISOLTO]rsync forzare update file in caso di errore broken pipe

Messaggio da giuseppe500 » martedì 31 marzo 2020, 20:25

ciao.
Ho un pc su cui eseguo rsync per trasferire i file sul server.
in specifico rsync -avz .
In un caso su file molto grandi 5gb mi ha dato un errore di broken pipe che non riesco a capire bene come si verifichi e come si elimini.
poi ho rilanciato rsync , ma invece di cambiare il file vecchio mi ha creato un altro fie con stessa estensione per poi cancellare alla fine l'altro file che era a metà.
non ha continuato a caricare il file ma ne ha ricreato un altro.
è possibile?
è il normale funzionamento?
posso cambiare qualcosa nei flag per recuperare il file troncato se c'è il broken pipe o se casca la linea(per estremo).
grazie.
ciao.
Ultima modifica di giuseppe500 il sabato 4 aprile 2020, 11:12, modificato 1 volta in totale.

giuseppe500
Scoppiettante Seguace
Scoppiettante Seguace
Messaggi: 413
Iscrizione: martedì 22 maggio 2012, 14:04
Distribuzione: 12.04

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da giuseppe500 » venerdì 3 aprile 2020, 9:04

ciao.
Sono riuscitoa trovare i flag che mi servivano su google per rsync tutto ok!.
Il probema che rimane è il broken pipe cos è di preciso?
cercando su google si trovano un sacco di informazioni per risolverlo ma anche un po disordinate e ognuno da la sua versione.
allora se apro un terminale e mi connetto via ssh col server dopo un ora o due mi da l'errore broken pipe, poco male posso riconnettermi, ma se sto trasferendo un file via rsync vorrei che non si bloccasse anche per 3 4 ore.
ho visto che in rsync c'è il flag timeout che se rsync non trasferisce per un tot di sec da l'errore broken pipe, di default ho letto che è 0.
vorrei capire se è un errore di ssh o di rsync che posso risolvere con il timeout.
non vorrei fare tantissime prove a caso vorrei che mi aiutaste gentilmente con qualcsa che posso capire.
vi ringrazio in anticipo.

Avatar utente
UbuNuovo
Imperturbabile Insigne
Imperturbabile Insigne
Messaggi: 3787
Iscrizione: sabato 12 dicembre 2009, 20:58
Desktop: Mate
Distribuzione: Ubuntu 14.04
Sesso: Maschile
Contatti:

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da UbuNuovo » venerdì 3 aprile 2020, 10:42

Guarda qua: https://bobcares.com/blog/rsync-sender- ... n-pipe-32/
Nel tuo caso non credo che sia un problema di disco pieno, lo sapresti; credo invece che dipenda dalla connessione che può essere a transito zero per diversi secondi, in questo caso l'opzione --timeout ti dovrebbe servire a mantenere la connessione attiva.
A me succede normalmente di avere la connessione a zero mi connetto via chiavetta 3G, tempo fa usavo ping -i 5 -s 0.2 -W 60 www.google.it
In modo da mantenere la connessione attiva.
Nel caso in cui sia il primo a rispondere ad una richiesta di aiuto...chiunque abbia una soluzione migliore o anche solo diversa dalla mia è incoraggiato ad intervenire liberamente senza inviarmi alcun messaggio privato. In programmazione è basilare sapere che si può ottenere il medesimo risultato utilizzando metodi diversi.

giuseppe500
Scoppiettante Seguace
Scoppiettante Seguace
Messaggi: 413
Iscrizione: martedì 22 maggio 2012, 14:04
Distribuzione: 12.04

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da giuseppe500 » venerdì 3 aprile 2020, 12:30

purtroppo sto usando una connessione che cade per 5 6 secondi , mi rendo conto che è un problema mio ma ho messo --timeout 999 ma non spetta che la connessioe ritorni.
poi se riparte riparte da 0 nel file che stava facendo invece che dal progresso in cui l'avevo lasciato.
è per via della connessione che cade che non permette ad rsync di segnare a che punto era? il comando è questo:
rsync -avzP --timeout 999 /__FOTO/_FileZILLA/ root@#.#.#.#:/#/files/

Avatar utente
UbuNuovo
Imperturbabile Insigne
Imperturbabile Insigne
Messaggi: 3787
Iscrizione: sabato 12 dicembre 2009, 20:58
Desktop: Mate
Distribuzione: Ubuntu 14.04
Sesso: Maschile
Contatti:

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da UbuNuovo » venerdì 3 aprile 2020, 13:19

Guarda queste due pagine:
https://qastack.it/unix/48298/can-rsync ... nterrupted
https://qastack.it/unix/2445/resume-tra ... e-by-rsync

edit:
Prova a mettere le opzioni --partial e --append
Prova a mettere l'opzione --partial che implica anche --append.

Io non le ho mai usate faccio solo backup locali, l'unica è fare qualche prova.
Nel caso in cui sia il primo a rispondere ad una richiesta di aiuto...chiunque abbia una soluzione migliore o anche solo diversa dalla mia è incoraggiato ad intervenire liberamente senza inviarmi alcun messaggio privato. In programmazione è basilare sapere che si può ottenere il medesimo risultato utilizzando metodi diversi.

giuseppe500
Scoppiettante Seguace
Scoppiettante Seguace
Messaggi: 413
Iscrizione: martedì 22 maggio 2012, 14:04
Distribuzione: 12.04

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da giuseppe500 » venerdì 3 aprile 2020, 19:29

ho risolto trovando questo:
while ! rsync --partial --append-verify --progress -a -e 'ssh -p 22' /back/ root@x.x.x.x:/baak/; do sleep 5;done

se la linea cade riparte , ho proprio provato a scollegare il wifi e ricollegarlo dopo 2 min, RIPARTE!!!

grazie.

Avatar utente
giulux
Amministratore
Amministratore
Messaggi: 23971
Iscrizione: domenica 10 gennaio 2010, 12:17
Desktop: ubuntu 18.04
Distribuzione: Ubuntu 18.04.3 LTS x86_64
Sesso: Maschile
Località: Roma

Re: rsync forzare update file in caso di errore broken pipe

Messaggio da giulux » venerdì 3 aprile 2020, 19:37

Se non hai più problemi modifica il titolo del primo post mettendoci davanti [Risolto].
Ciao.
con l'aiuto della comunità le cose si mettono quasi sempre a posto (e non apposto), a parte (e non apparte) qualche caso ...

Scrivi risposta

Ritorna a “Programmazione”

Chi c’è in linea

Visualizzano questa sezione: 0 utenti iscritti e 7 ospiti