Backup via rete

Networking, configurazione della connessione, periferiche e condivisioni di rete.
korda
Entusiasta Emergente
Entusiasta Emergente
Messaggi: 1703
Iscrizione: giovedì 24 dicembre 2020, 15:58

Backup via rete

Messaggio da korda »

Ho Kubuntu 20.04 sul mio PC Desktop e un disco esterno formattato Ext4 collegato ad un RasPI con Raspbian. Il RasPI e il PC sono collegati via ethernet tramite un piccolo switch Netgear a 8 porte, a cui è collegato pure il router di casa.

Periodicamente faccio un backup manuale con rsync dal PC al disco esterno via ssh. Quando faccio il backup non lascio nessun processo in foreground ma, per cautela, lascio rsync in nice 19. Tipicamente lancio il backup ad un orario in cui non uso la rete neanche con altri device.

Eppure quando da terminale guardo lo stato di avanzamento di rsync vedo che il transfer rate è estremamente altalenante. A cosa potrebbe essere dovuto? Cosa e dove dovrei guardare secondo voi? Io penserei al nice, ma non sono troppo confidente di risolvere così...
Io non sono Bagheera né Akela, io non frequento la Rupe.
Io sono Kaa: faccio ballare le scimmie alle Tane Fredde.
Avatar utente
Stealth
Tenace Tecnocrate
Tenace Tecnocrate
Messaggi: 17342
Iscrizione: martedì 31 gennaio 2006, 22:55
Desktop: Gnome
Distribuzione: Ubuntu 22.04 LTS

Re: Backup via rete

Messaggio da Stealth »

Il primo test che mi viene in mente è di copiare un unico grosso file e osservare la prestazione su quello. Tieni presente che l'andamento altalenante dipende spesso dalla presenza (nel backup) di files pesanti (veloce) insieme a miliardi di files minuscoli (lentissimo).
korda
Entusiasta Emergente
Entusiasta Emergente
Messaggi: 1703
Iscrizione: giovedì 24 dicembre 2020, 15:58

Re: Backup via rete

Messaggio da korda »

Stealth ha scritto:
giovedì 10 giugno 2021, 23:02
Il primo test che mi viene in mente è di copiare un unico grosso file e osservare la prestazione su quello. Tieni presente che l'andamento altalenante dipende spesso dalla presenza (nel backup) di files pesanti (veloce) insieme a miliardi di files minuscoli (lentissimo).
Appunto... osservavo questo fenomeno su un unico file molto grosso: ad esempio, un disco virtuale di VirtualBox (ovviamente a vm spenta)

Essenzialmente lancio questo comando:

nice -n 19 rsync -l -z -r -t -p -o -g -v --progress --delete -u -c --exclude-from=$EXCLUDE -e 'ssh -p 443' $SORGENTE korda@192.168.1.20:$TARGET >> $LOGFILE

$SORGENTE è la mia home

$EXCLUDE è un file che contiene percorsi da non backuppare (ad esempio DropBox visto che la roba è già sincronizzata sul cloud e altri device)
Io non sono Bagheera né Akela, io non frequento la Rupe.
Io sono Kaa: faccio ballare le scimmie alle Tane Fredde.
Avatar utente
Stealth
Tenace Tecnocrate
Tenace Tecnocrate
Messaggi: 17342
Iscrizione: martedì 31 gennaio 2006, 22:55
Desktop: Gnome
Distribuzione: Ubuntu 22.04 LTS

Re: Backup via rete

Messaggio da Stealth »

Ah ... Boh, nell'ordine io cambierei cavetti di rete. Poi attaccherei direttamente il rasp al pc, saltando lo switch. Poi trasferirei lo stesso files da un altro pc (per escludere la scheda di rete) e poi dal primo pc ad un altro (per escludere la scheda del rasp).A quel punto hai più o meno verificato tutto l'hardware e puoi provare (sempre lo stesso file) con cp al posto di rsync... e vai avanti ad escludere tutto uno alla volta
korda
Entusiasta Emergente
Entusiasta Emergente
Messaggi: 1703
Iscrizione: giovedì 24 dicembre 2020, 15:58

Re: Backup via rete

Messaggio da korda »

Effettivamente cp (su una cartella montata via ssh) risulta moolto più stabile di rsync, la banda rimane quasi costante o perlomeno non oscilla così vistosamente.

Il problema di cp è che dovrei scriverci attorno uno script per poterlo usare per fare un backup incrementale, e non saprei dove girarmi. @UbuNuovo, tu che sei più esperto di bash script, come faresti?

Sarei restìo ad usare pacchetti più o meno dedicati con interfacce grafiche se sotto ci gira comunque rsync
Io non sono Bagheera né Akela, io non frequento la Rupe.
Io sono Kaa: faccio ballare le scimmie alle Tane Fredde.
Avatar utente
Stealth
Tenace Tecnocrate
Tenace Tecnocrate
Messaggi: 17342
Iscrizione: martedì 31 gennaio 2006, 22:55
Desktop: Gnome
Distribuzione: Ubuntu 22.04 LTS

Re: Backup via rete

Messaggio da Stealth »

Siccome avevo letto
korda ha scritto:
giovedì 10 giugno 2021, 21:15
... Periodicamente faccio un backup manuale con rsync dal PC al disco esterno via ssh. ...
avevo capito male. Se l'intenzione è di usare uno script io continuerei con rsync, lo lancio la notte e me ne frego di quanto ci mette. La differenza è nella verifica dei dati copiati, che con cp non hai
Scrivi risposta

Ritorna a “Connessione e configurazione delle reti”

Chi c’è in linea

Visualizzano questa sezione: 0 utenti iscritti e 3 ospiti