[Risolto][Mdadm] Nuovo Raid 10 con 4 HD da 2TB sempre degradato.....

[Nede]

Buongiorno e buona domenica. Ho fatto la pazzia di acquistare 4 HD WD2003FYYS da 2 Tb.
Nel mio ubuntu è già presente mdadm perchè ho installato la versione alternate 64 bit in raid 1 su 2 SSD.
Il sistema parte. Ho aggiunto successivamente i 4 HD, ho creato il nuovo array formattando prima i 4 HD con file system "autorilevamento per RAID".
L'array in raid 10 si sincronizza e dopo 5 ore ho l'array funzionale con i 4 HD. Riavvio e mi manca sempre l'ultimo HD con conseguente array degradato.
Vi posto un po' di roba:

Codice: Seleziona tutto

milanese@milanese-casa:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md2 : active raid10 sde1[2] sdc1[0] sdd1[1]
      3907023872 blocks super 1.2 512K chunks 2 near-copies [4/3] [UUU_]
      
md1 : active raid1 sda2[0] sdb2[1]
      45897656 blocks super 1.2 [2/2] [UU]
      
md0 : active raid1 sda1[0] sdb1[1]
      7810036 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>


Qui notate che mi manca sdf1....

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo mdadm -D /dev/md2
/dev/md2:
        Version : 1.2
  Creation Time : Sun Jan 15 01:06:01 2012
     Raid Level : raid10
     Array Size : 3907023872 (3726.03 GiB 4000.79 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 4
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Sun Jan 15 14:31:36 2012
          State : clean, degraded
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : near=2
     Chunk Size : 512K

           Name : milanese-casa:2  (local to host milanese-casa)
           UUID : 30568ba4:8f786c00:e4aae5d0:fd10e513
         Events : 128

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       2       8       65        2      active sync   /dev/sde1
       3       0        0        3      removed


e qui si nota che l'HDD è stato rimosso (da chi???)

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo mdadm -E /dev/sdc1
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 30568ba4:8f786c00:e4aae5d0:fd10e513
           Name : milanese-casa:2  (local to host milanese-casa)
  Creation Time : Sun Jan 15 01:06:01 2012
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
     Array Size : 7814047744 (3726.03 GiB 4000.79 GB)
  Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 0ad97b74:63d790c4:533fadc2:4b579f0c

    Update Time : Sun Jan 15 14:31:39 2012
       Checksum : e4e1751b - correct
         Events : 130

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA. ('A' == active, '.' == missing)

qui il primo disco, nulla di anomalo

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo mdadm -E /dev/sdd1
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 30568ba4:8f786c00:e4aae5d0:fd10e513
           Name : milanese-casa:2  (local to host milanese-casa)
  Creation Time : Sun Jan 15 01:06:01 2012
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
     Array Size : 7814047744 (3726.03 GiB 4000.79 GB)
  Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : a59e1b69:7454df4f:26f4a1d4:3479f284

    Update Time : Sun Jan 15 14:31:39 2012
       Checksum : ef178e84 - correct
         Events : 130

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA. ('A' == active, '.' == missing)


qui il secondo, nulla di anomalo

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo mdadm -E /dev/sde1
/dev/sde1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 30568ba4:8f786c00:e4aae5d0:fd10e513
           Name : milanese-casa:2  (local to host milanese-casa)
  Creation Time : Sun Jan 15 01:06:01 2012
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
     Array Size : 7814047744 (3726.03 GiB 4000.79 GB)
  Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 375594d2:9907b852:f504b377:e16d8f39

    Update Time : Sun Jan 15 14:31:39 2012
       Checksum : b316fdb8 - correct
         Events : 130

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA. ('A' == active, '.' == missing)


sempre nulla di anomalo sul terzo ma guardate il quarto

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo mdadm -E /dev/sdf1
/dev/sdf1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x2
     Array UUID : 30568ba4:8f786c00:e4aae5d0:fd10e513
           Name : milanese-casa:2  (local to host milanese-casa)
  Creation Time : Sun Jan 15 01:06:01 2012
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 3907025072 (1863.01 GiB 2000.40 GB)
     Array Size : 7814047744 (3726.03 GiB 4000.79 GB)
  Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
Recovery Offset : 769061376 sectors
          State : clean
    Device UUID : 1b90834b:275abe5c:12587840:e0c686ca

    Update Time : Sun Jan 15 04:06:47 2012
       Checksum : bd9e9771 - correct
         Events : 104

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA ('A' == active, '.' == missing)


notate qui

Codice: Seleziona tutto

Array State : AAAA

, sembra che questo disco fà parte di un array funzionante o sbaglio???? eppure è l'ultimo della catena del raid degradato...

Non sò più dove sbattere il muso.......  >:(

Se provo ad aggiungere il disco:

Codice: Seleziona tutto

sudo mdadm --add /dev/md2 /dev/sdf1

riparte la sincronizzazione. Dopo 5 ore finisce, il raid finalmente è ok ma se riavvio sono di nuovo al punto di partenza.....

[Nede]

A discapito di equivoci posto il risultato dello scan del disco per vedere se è rotto o meno.

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo smartctl -a /dev/sdf1
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.0.0-14-generic] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital RE4 Serial ATA
Device Model:     WDC WD2003FYYS-02W0B1
Serial Number:    WD-WMAY03861321
LU WWN Device Id: 5 0014ee 002f4e2bf
Firmware Version: 01.01D02
User Capacity:    2,000,398,934,016 bytes [2,00 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Sun Jan 15 15:41:53 2012 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80)   Offline data collection activity
               was never started.
               Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)   The previous self-test routine completed
               without error or no self-test has ever
               been run.
Total time to complete Offline
data collection:       (29160) seconds.
Offline data collection
capabilities:           (0x7b) SMART execute Offline immediate.
               Auto Offline data collection on/off support.
               Suspend Offline collection upon new
               command.
               Offline surface scan supported.
               Self-test supported.
               Conveyance Self-test supported.
               Selective Self-test supported.
SMART capabilities:            (0x0003)   Saves SMART data before entering
               power-saving mode.
               Supports SMART auto save timer.
Error logging capability:        (0x01)   Error logging supported.
               General Purpose Logging supported.
Short self-test routine
recommended polling time:     (   2) minutes.
Extended self-test routine
recommended polling time:     ( 255) minutes.
Conveyance self-test routine
recommended polling time:     (   5) minutes.
SCT capabilities:           (0x303f)   SCT Status supported.
               SCT Error Recovery Control supported.
               SCT Feature Control supported.
               SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   253   021    Pre-fail  Always       -       8616
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       18
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       61
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       16
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       9
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       8
194 Temperature_Celsius     0x0022   121   109   000    Old_age   Always       -       31
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

No ci capisco molto, ma a me sembra ok.....

[Nede]

 ::)
Ho studiato in questi giorni (e notti). Dal momento in cui il raid 10 è il raid 1 + il raid 0 ho voluto creare in maniera diversa la catena.

Ho quindi fatto 2 Raid 1 con 2 dischi ciascuno.
Poi ho fatto un Raid 0 mettendo come dischi i 2 /dev/mdX creati prima..........funziona!!!!!

Chi me lo spiega è bravo. Ciò vuol dire secondo me che il mio hardware è ok, secondo me è un bug di mdadm in raid 10....

Ora finalmente ad ogni riavvio gli array sono sempre ok con tutti e 4 i dischi al lavoro!!!
PS: Impressionanti le velocità, vi posto qualche risultato:

Test in lettura:

Codice: Seleziona tutto

milanese@milanese-casa:~$ sudo hdparm -t /dev/md4

/dev/md4:
 Timing buffered disk reads: 690 MB in  3.01 seconds = 229.60 MB/sec


Test in scrittura:

Codice: Seleziona tutto

milanese@milanese-casa:~$ dd count=1k bs=1M if=/dev/zero of=/media/Casa/test.img
1024+0 record dentro
1024+0 record fuori
1073741824 byte (1,1 GB) copiati, 1,35574 s, 792 MB/s


[Nede]

Ahi! Ho perso anche così un disco oggi.

Con fdisk -l lo vedo comunque presente, ho il solito problema del mdadm -E /dev/sde1 (in questo caso) ovvero che pare sincronizzato ma mdadm -D /dev/md3 (in questo caso) vedo che l'HD è rimosso.

Quindi anche se con meno frequenza anche questo metodo risulta inadeguato ma sorge un dubbio:
Non è un problema di HD, che non sia il fatto che utilizzo il controller SATA integrato nella motherboard? 6 porte sata tutte occupate da 2 SSD e 4 HDD.... 

[Nede]

Upgrade a Ubuntu 12.04.
Ho ricreato all'installazione del S.O. il Raid 10 e indovina indovidello? Pare che funzioni!!!!!! Oggi ho riavvitato una trentina di volte e il raid è sempre stato completo di tutti e 4 i dischi!
Forse allora era un bug di mdadm....
Non vorrei portare iella ma penso che ora è proprio risolto!!!

[HoSDo]

Ragazzi, io ho lo stesso problema. Dopo essere avanzato alla 12.04.1 ho il raid che è fisso degradato, anche se lo riparo.

Sono con un banalissimo RAID 1, 2 dischi da 150 GB. Se non ricordo male avevo inizialmente configurato il raid hardware ma ubuntu mi vedeva sempre due dischi separati. Ora sono in AHCI via Hardware con i due dischi in Mirror però anche in ubuntu ho dovuto configurare il Raid-1...

Qualcuno mi sa aiutare a capire perchè ad ogni riavvio lo trovo degradato e se devo modificare le mie configurazioni? Grazie

[Nede]

Mmm, io ho ottenuto l'esatto opposto. Avanzando alla 12.04 ho risolto il problema!!!! Posta magari qualche file....