Server Multi Raid

[nocifix]

Ciao a tutti.

Sono autodidatta e sto cercando di capire come installare, configurare ed amministrare una macchina linux sia per lavoro sia per sete di conoscenza.
Ho installato qualche disto linux desktop in passato, ma ora vorrei riuscire a "mettere mano sotto la scocca" ed a tirar su un server stabile che ospiti un server di posta, LAMP, ftp e magari anche qualche soluzione cloud oriented, per gestire un archivio multimediale.

In questo momento sto smanettando con una Ubuntu Server 18.04.02 che vorrei installare un sistema multi RAID, uno (RAID 1) su SSD per sistema operativo e programmi (filesystem ext4)
e l'altro (RAID 10) su 4 HDD rotazionali da 4Tb dove tenere esclusivamente i dati (filesystem ZDF).

RAID 1 (Ext4) -------------------- RAID 10 (ZDF)

|---------|---------| ///////|----------|----------|---------|----------|
|SSD 1| SSD 2|////////|HDD 1|HDD 2|HDD 1|HDD 2|
|---------|--------- |///////|----------|----------|---------|----------|

Il problema con il quale son già fermo, scaturisce nella costruzione dell'array.
Lascio partizionare la procedura di installazione automatica di Ubuntu, ma non riesco ad ottenere quello che voglio, poiché da quello che ho capito devo lasciare fuori dal RAID 1 la partizione di /boot.
mi ritrovo quindi con la configurazione qui di seguito, dove per non lasciare vuoto il secondo SSD sono andato a creare la /home.

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 91M 1 loop /snap/core/6350
sda 8:0 0 465.8G 0 disk
+-sda1 8:1 0 512M 0 part /boot/efi
+-sda2 8:2 0 465.3G 0 part /
sdb 8:16 0 465.8G 0 disk /home
sdc 8:32 0 3.7T 0 disk
+-md0 9:0 0 7.3T 0 raid10
sdd 8:48 0 3.7T 0 disk
+-md0 9:0 0 7.3T 0 raid10
sde 8:64 0 3.7T 0 disk
+-md0 9:0 0 7.3T 0 raid10
sdf 8:80 0 3.7T 0 disk
+-md0 9:0 0 7.3T 0 raid10

Andando a leggere in giro leggo che si potrebbe aggirare il problema utilizzando in qualche modo una chiavetta usb dove mettere /boot/efi, o eventualmente partizionare manualmente prima i due SSD
in modo che abbiano entrambi due partizioni identiche una di /boot e l'altra dove creare il mio RAID 1, ma essendo un po' noob con il partizionamento manuale non so' bene come fare.

Qualcuno sa come posso risolvere il problema, o darmi qualche indicazione da poter seguire ?
Grazie in anticipo.

fabio

[nocifix]

niente... dopo 24 ore di ricerca in rete e prove sono solo riuscito ad ottenere questo :

Codice: Seleziona tutto

NAME   MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
loop0    7:0    0    91M  1 loop  /snap/core/6350
sda      8:0    0 465.8G  0 disk
+-sda1   8:1    0   512M  0 part  /boot/efi
+-sda2   8:2    0 465.3G  0 part  /
sdb      8:16   0 465.8G  0 disk
+-sdb1   8:17   0   512M  0 part
+-sdb2   8:18   0 465.3G  0 part
sdc      8:32   0   3.7T  0 disk
+-md1    9:1    0   3.7T  0 raid1
sdd      8:48   0   3.7T  0 disk
+-md1    9:1    0   3.7T  0 raid1
sde      8:64   0   3.7T  0 disk
+-md1    9:1    0   3.7T  0 raid1
sdf      8:80   0   3.7T  0 disk
+-md1    9:1    0   3.7T  0 raid1
root@eva:/home/adamo# fdisk -l
Disk /dev/loop0: 91 MiB, 95408128 bytes, 186344 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sda: 465.8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: C1C15D3C-7C57-41D2-97CA-8CF8A97AD5DA

Device       Start       End   Sectors   Size Type
/dev/sda1     2048   1050623   1048576   512M EFI System
/dev/sda2  1050624 976771071 975720448 465.3G Linux filesystem


Disk /dev/sdb: 465.8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: C1C15D3C-7C57-41D2-97CA-8CF8A97AD5DA

Device       Start       End   Sectors   Size Type
/dev/sdb1     2048   1050623   1048576   512M EFI System
/dev/sdb2  1050624 976771071 975720448 465.3G Linux filesystem


Disk /dev/sdc: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdd: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sde: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdf: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/md1: 3.7 TiB, 4000651739136 bytes, 7813772928 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

[giulux]

Benvenuto!
Inseriti come hai fatto i listati rendono ilpost tropo lungo e di difficile lettura.
In futuro incollali tra i tag [ code] e [ /code] che si creano cliccando su Codice in alto, sopra la finestra di scrittura (editor completo) così:

• [ code]listato
  da postare[ /code]

Correggi l post precedente cliccando su "modifica", poi seleziona il listato, clicca su Codice e salva, come da esempio

Ciao.

[nocifix]

Benvenuto!
...

Grazie e scusa.

[Sam9999]

Non ne capisco tanto di RAID ma se non erro vanno settati da BIOS e dopo il sistema operativo li vede come disco unico e non come 2 o 4 dischi distinti.

Quindi poi in installazione vedi solo i 2 dischi uno da 500Gb e l'altro da 4TB.

Cioè in BIOS RAID..

[Stealth]

Ciao a tutti.

Sono autodidatta e sto cercando di capire come installare, configurare ed amministrare una macchina linux sia per lavoro sia per sete di conoscenza.
Ho installato qualche disto linux desktop in passato, ma ora vorrei riuscire a "mettere mano sotto la scocca" ed a tirar su un server stabile che ospiti un server di posta, LAMP, ftp e magari anche qualche soluzione cloud oriented, per gestire un archivio multimediale.

Spero che quella sia una macchina test e che ti sia preso del tempo, e non poco. Per essere davvero chiari, quello che vuoi fare per la prima volta non è banalissimo e richiede tempo, studio, prove e ancora prove, e probabili errori. Tieni anche conto che quello che stai per fare, di solito, lo si fa su più macchine e non su una sola. La regola è una macchina per servizio, e non tutte le mele nello stesso cesto. E da ultimo, se ci devo mettere dati che hanno e devono creare valore, quello che stai per fare di solito lo faccio fare ad un professionista qualificato.

In questo momento sto smanettando con una Ubuntu Server 18.04.02 che vorrei installare un sistema multi RAID, uno (RAID 1) su SSD per sistema operativo e programmi (filesystem ext4)
e l'altro (RAID 10) su 4 HDD rotazionali da 4Tb dove tenere esclusivamente i dati (filesystem ZDF).

.... ma essendo un po' noob con il partizionamento manuale non so' bene come fare.

non so di che macchina e controller si parli ma, per quanto riguarda il raid io preferisco il raid software (mdadm) a quello hardware, a meno di avere supermacchine con supercontratti di assistenza. Questo solo per metterti in guardia dal raid, se non lo hai studiato e capito bene, perchè se qualcosa va storto recuperare può diventare davvero rognoso.
Quindi mi ripeto, usa una macchina test e prenditi tutto il tempo del mondo, prima di metterci su qualcosa che contiene dati importanti e che deve lavorare.
Solo per darti qualche spunto di riflessione, sia chiaro, e fanne ovviamente quello che vuoi
ciao e buon lavoro

[nocifix]

Spero che quella sia una macchina test e che ti sia preso del tempo, e non poco. Per essere davvero chiari, quello che vuoi fare per la prima volta non è banalissimo e richiede tempo, studio, prove e ancora prove, e probabili errori. Tieni anche conto che quello che stai per fare, di solito, lo si fa su più macchine e non su una sola. La regola è una macchina per servizio, e non tutte le mele nello stesso cesto. E da ultimo, se ci devo mettere dati che hanno e devono creare valore, quello che stai per fare di solito lo faccio fare ad un professionista qualificato.

non so di che macchina e controller si parli ma, per quanto riguarda il raid io preferisco il raid software (mdadm) a quello hardware, a meno di avere supermacchine con supercontratti di assistenza. Questo solo per metterti in guardia dal raid, se non lo hai studiato e capito bene, perchè se qualcosa va storto recuperare può diventare davvero rognoso.
Quindi mi ripeto, usa una macchina test e prenditi tutto il tempo del mondo, prima di metterci su qualcosa che contiene dati importanti e che deve lavorare.
Solo per darti qualche spunto di riflessione, sia chiaro, e fanne ovviamente quello che vuoi
ciao e buon lavoro

Ciao Stealth,
si assolutamente sto lavorando su una macchina di test, non mi passerebbe nemmeno nell'anticamera del cervello di provare su una macchina di "produzione". La macchina è una semplice x86 con un i7 e 32Gb di ram ddr4. Una mobo asus socket LGA 1511 con su 2 ssd + 4 hdd gestiti tutti dai controller sata della mainboard, priva di controller RAID hardware dedicati, soprattutto perché vorrebbe dire essere vincolati all'hardware, secondo me perderebbe di scalabilità e flessibilità.
Di tempo fortunatamente ne ho... non infinito, anche perché lavoro... ma ne ho. Ed il fine principale è veramente imparare ad acquisire le conoscenze per poter comprendere e gestire un server solido e scalabile. Una soluzione su cui costruire magari da qui a qualche mese un server di posta che mi possa gestire diversi domini e magari più avanti riuscire a virtualizzare server hostati in remoto.

Purtroppo lavorando non riesco a frequentare eventuali corsi, anche serali di amministrazione di sistemi. E tutti quelli che ho visto fino ad oggi non vanno oltre la spiegazione che può fornirti un buon manuale o la spiegazione che in qualche ritaglio di tempo riesco a strappare a qualche collega, ma poi per esperienza serve scontrarsi con i problemi, affrontarli, studiare e venirne fuori.

Ovviamente il tutto teso proprio come hai accennato tu, ad svincolarsi da soluzioni che comprendano "supermacchine" e "supercontratti di assistenza" che la ridotta dimensione aziendale nella quale lavoro, non riuscirebbe a sopportare.

Buon lavoro anche a te.

[nocifix]

Non ne capisco tanto di RAID ma se non erro vanno settati da BIOS e dopo il sistema operativo li vede come disco unico e non come 2 o 4 dischi distinti.

Quindi poi in installazione vedi solo i 2 dischi uno da 500Gb e l'altro da 4TB.

Cioè in BIOS RAID..

Ciao Sam9999,

guarda ho già provato, a far gestire il raid 1 (ssd) alla mainboard, ma oltre ad essere una soluzione che vorrebbe dire in caso di disastro futuro, dover probabilmente recuperare una mainboard identica per provare a recuperare il sistema, l'installazione di Ubuntu 18.04.02 LTS al momento del partizionamento dei dischi, continua a farmi vedere i dischi separati come se il "fake hardware raid" della mobo non esistesse proprio.

ciao.

[Sam9999]

In questo caso forse è utile avere tutte le informazioni della scheda madre e del raid.

[Stealth]

In questo caso forse è utile avere tutte le informazioni della scheda madre e del raid.

Se posso... io lascerei perdere l'hardware e farei prove con mdadm. Una guida a caso su un sito decente, ma ce ne sono ovviamente anche altre
https://www.digitalocean.com/community/ ... untu-18-04
ciao

[Sam9999]

In questo caso forse è utile avere tutte le informazioni della scheda madre e del raid.

Se posso... io lascerei perdere l'hardware e farei prove con mdadm. Una guida a caso su un sito decente, ma ce ne sono ovviamente anche altre
https://www.digitalocean.com/community/ ... untu-18-04
ciao

Mi sono letto la guida, ma ho visto creare degli array di vario genere da linux, ma il sistema operativo è caricato e funzionante.

Per creare un array software su dei dischi SSD da mettere in mirroring e su cui installare il sistema operativo ?

[nocifix]

Sono daccordo con Stealth .... il raid hardware tenderei ad evitarlo. Anzi... stavo valutando se addirittura avesse senso creare una configurazione di doppio raid.
Alla fine creato il raid 10 sui 4 dischi rotazionali per salvaguardare i dati veri e propri, mi basterebbe anche solamente una situazione di backup possibilmente immagine da ssd1 a ssd2.
Magari gestito da un cron notturno che mi replicasse il disco di maniera indentica così chè, in caso di rottura del disco ssd1 possa in qualche modo rendere l'ssd 2 il principare con sistema operativo e programmi aggiornati alla sera prima e far bootare comunque il server.
Al contempo sostituiere l'ssd rotto con uno nuovo che ospiterà la nuova copia imagine notturna bootabile.

La cosa che mi lascia un po' perplesso di questa seconda opzione, ma probabilmente è dovuta alla mia ignoranza, è che non so se il sistema operativo preveda di essere backuppato con copia immagine a caldo ... disco principale montato per intenderci.
Ho provato ieri a fare una copia immagine con dd, mi ha copiato il disco apparentemente in maniera identica, ma poi aprendo la macchina e staccando l'ssd principale e lasciando solo il secondo ssd, il sistema non è venuto su ma si è fermato a grub 2.

Consigli ?

[Sam9999]

Puoi fare anche una copia anche con rsynch .. magari è poi da cambiare UUID del disco in fstab per la partenza.

Io alla buona, farei 2 installazioni identiche (un disco per volta SSD) e poi le terrei allineate con rsynch (sempre un occhio a fstab per il montaggio del disco partenza)

[Stealth]

Non seguo molto, ho letto ieri che, con la 18.04, ubuntu server ha perso la possibilità di installare il sistema in raid. C'è però una specie di iso "alternate", da scaricare, che contiene un installer diverso. Dovrebbe essere più o meno il vecchio debian installer che, cliccando su "manuale" nella sezione "partizionamento", ti lascia costruire il raid1.
Mi scuso per tutti i "pare che" e "ho letto che" senza riferimenti o links, ma cercavo sul telefono mentre aspettavo che facessero il tagliando alla macchina di mia moglie .
La buona notizia è che si può fare, la cattiva è che bisogna cercare la iso giusta e non so dove sia e come si chiama
ciao

[nocifix]

Puoi fare anche una copia anche con rsynch .. magari è poi da cambiare UUID del disco in fstab per la partenza.

Io alla buona, farei 2 installazioni identiche (un disco per volta SSD) e poi le terrei allineate con rsynch (sempre un occhio a fstab per il montaggio del disco partenza)

Si Sam9999 stavo vagliando proprio questa opzione, alla fine il mio tentativo è mirato a installare una base solida ove poi poter iniziare a imparare e costruire i servizi veri e propri. Non ho pregiudizi dogmatici o stilistici, anche cose un po' "sporche" vanno benissimo per ora, purchè mi diano la tranquillità di costruire su basi solide ed avere le mie certezze.

Non seguo molto, ho letto ieri che, con la 18.04, ubuntu server ha perso la possibilità di installare il sistema in raid. C'è però una specie di iso "alternate", da scaricare, che contiene un installer diverso. Dovrebbe essere più o meno il vecchio debian installer che, cliccando su "manuale" nella sezione "partizionamento", ti lascia costruire il raid1.
Mi scuso per tutti i "pare che" e "ho letto che" senza riferimenti o links, ma cercavo sul telefono mentre aspettavo che facessero il tagliando alla macchina di mia moglie .
La buona notizia è che si può fare, la cattiva è che bisogna cercare la iso giusta e non so dove sia e come si chiama
ciao

Eh cavolo è questo che mi ha sempre spaventato di linux la grandissima frammentazione. Avevo scelto Ubuntu Server come distro proprio perchè essendo molto diffusa avrei potuto cercare riscontri in rete ed un minimo di continuità... e poi mi fregano le funzionalità così.....
Il mio amico che mangia pane e Gentoo mi prende sempre per i fondelli

Bene allora ... se quando hai tempo riesci a darmi qualche indicazione in più te ne sarei veremante grato

[Stealth]

Boh, al momento ho trovato solo questo, dove sembra facciano finta di niente e spiegano come installare, senza cenni ad installer alternativi. Può darsi che sia cambiato qualcosa, o che non abbia capito nulla io, o che leggessi (di solito ci sto attento) cose vecchie.
Non so, cerca bene anche te e, visto che la tua è una macchina di prova, se dopo un po' ti scocci installa e buonanotte, al massimo non funziona. Io di solito, se estenuato, faccio così
ciao

[Gerry Ghetto]

Solo qualche domanda e qualche pensierino:

In questo momento sto smanettando con una Ubuntu Server 18.04.02 che vorrei installare un sistema multi RAID, uno (RAID 1) su SSD per sistema operativo e programmi (filesystem ext4)

Perché vuoi installare il server su un RAID 1? Che vantaggi avrai? Che problemi ti può dare?

Normalmente l'installazione di un server è molto veloce e con gli script (Bourne, Bash, Perl, Python) puoi automatizzare gran parte.
È importante di scrivere una documentazione e tenerla aggiornata.

e l'altro (RAID 10) su 4 HDD rotazionali da 4Tb dove tenere esclusivamente i dati (filesystem ZDF).

Per i dati invece fa senso avere un RAID. Esistono hardware RAID, fake RAID e software RAID. Anche qua ci sono vantaggi e svantaggi.
Poi scegli il RAID level. RAID 10, fa senso per quello che vuoi fare? Come fai i backup? Hai abbastanza spazio per i backup?

Non conosco il filesystem ZDF. Forse ZFS? Perché non cominci con ext4 e in qualche mese, con più esperienza fai le prove con ZFS (o un altro filesystem)?

dove per non lasciare vuoto il secondo SSD sono andato a creare la /home.

Perché creare una /home separata?
Nella cartella /home hai normalmente solo le configurazioni di alcuni utenti. E normalmente non cambiano spesso. Basta avere i backup.

[Stealth]

Cliccando sul link in questa pagina, che parla di "alternative downloads" sono arrivato a questa, dove dovrebbe esserci il vecchio installer debian style. Se ne hai voglia scarica e prova
ciao

[nocifix]

Cliccando sul link in questa pagina, che parla di "alternative downloads" sono arrivato a questa, dove dovrebbe esserci il vecchio installer debian style. Se ne hai voglia scarica e prova
ciao

Grazie Stealth adesso provo a vedere.

Perché vuoi installare il server su un RAID 1? Che vantaggi avrai? Che problemi ti può dare?

Normalmente l'installazione di un server è molto veloce e con gli script (Bourne, Bash, Perl, Python) puoi automatizzare gran parte.
È importante di scrivere una documentazione e tenerla aggiornata.

Ciao Gerry Ghetto, guarda io sto cercando di imparare. Conosco abbastanza teoria .... pratica su linux molta meno purtroppo.
La macchina che ho a disposizione ha la configurazione hardware che ho indicato sopra... se hai qualche consiglio o indicazione su come mettere su una macchina con questo hardware, che mi permetta di avere una base solida su quale ad esempio configurare un server di posta che mi consenta di gestire agilmente 7-8 domini di posta differenti io sono ben disposto a vagliare tutti i consigli.

Le indicazioni iniziali sulla struttutra della macchina mi sono state data dal vecchio sistemista che purtroppo non ho più modo di frequentare. Sistemista bravo, abile che costruiva i suoi server su distro come Gentoo. Per me troppo ostica da maneggiare.
Ma posso benissimo seguire altre strade, ma devono piacermi.

Si ZFS... ZDF era un errore di battitura.

[Gerry Ghetto]

Non posso darti le risposte giuste. Ho solo postato le domande che io mi farei e anche cosa mi sembra strano nel tuo setup.

Se sei l'unico amministratore/responsabile, puoi fare quello che vuoi. Se ci sono anche altri, potete discutere e poi decidere.

Se hai a disposizione un sistema di test, è perfetto. Puoi imparare e anche sbagliare. E quando si sbaglia, normalmente si impara molto.

Il primo passo è decidere cosa vuoi fare. Quando hai definito l'obiettivo, decidi come lo vuoi raggiungere. Normalmente è sempre meglio farlo in modo semplice, le cose si complicano da solo con il tempo/cambiamenti.

Io installerei il server su una partizione sul ssd (con ESP separata, se usi UEFI). Io farei poi un software RAID (con ext4 per iniziare). Poi installerei un servizio (per esempio file server). E scriverei la documentazione (installazione, configurazione, utenti [tecnici e umani], permessi, backups [server e servizi/dati], systemd, configurazione SSH/TLS/rete, logs, et cetera).