Primii pași

Discuri și RAID: verificare cu smartctl și înlocuire disc

Două comenzi și cinci minute vă arată dacă discul este sănătos și dacă RAID-ul este întreg. Tot aici: când cereți înlocuirea, ce ne trimiteți și cum reconstruiți matricea după ce discul nou a fost montat.

  • Timp: 20 de minute
  • Dificultate: Mediu

Pe scurt

  • Starea discului o arată smartctl -a /dev/sda pentru SATA și SAS și smartctl -a /dev/nvme0 pentru NVMe. Semne de alarmă: Current_Pending_Sector diferit de zero și Reallocated_Sector_Ct în creștere, iar la NVMe — Percentage Used aproape de 100% și Media and Data Integrity Errors diferit de zero.
  • Starea RAID-ului o arată cat /proc/mdstat: [UU] — ambele discuri funcționează, [U_] — unul a ieșit din matrice, iar matricea funcționează fără rezervă.
  • Pentru înlocuire trimiteți în tichet numărul de serie al discului defect și rezultatul smartctl -a. Pe durata înlocuirii serverul, de regulă, este oprit. Apoi matricea o reconstruiți dvs.: copiați tabela de partiții de pe discul bun pe cel nou (nu invers) și adăugați discul nou cu comanda mdadm --add.
  • Înainte de înlocuire faceți o copie de rezervă: conform ofertei, copiile datelor le faceți dvs., iar o matrice cu un singur disc funcțional rezistă doar până la prima defecțiune.
Cuprins
  1. Instalați smartmontools
  2. Notați discurile și numerele lor de serie
  3. SATA și SAS: ce valori SMART urmăriți
  4. NVMe: uzura și erorile mediului de stocare
  5. Verificați RAID-ul software: /proc/mdstat și mdadm
  6. Windows: ce puteți verifica
  7. Cum comandați înlocuirea discului
  8. Cum reconstruiți RAID-ul după înlocuirea discului
  9. Cum verificați că totul a reușit
  10. Dacă nu a reușit
  11. Întrebări frecvente

Aveți nevoie de

  • Acces la server prin SSH ca root sau ca utilizator cu sudo: cum vă conectați prin SSH.
  • O copie de rezervă recentă a datelor importante, dacă urmează să înlocuiți discul.

Comenzile de mai jos sunt pentru Linux. Ce puteți verifica în Windows este descris într-o secțiune separată: acolo posibilitățile sunt mai puține.

Instalați smartmontools

Programul smartctl din pachetul smartmontools citește SMART — jurnalul de autodiagnosticare pe care îl ține fiecare disc. Instalați pachetul cu prima comandă pe Ubuntu și Debian sau cu a doua pe AlmaLinux și Rocky Linux:

sudo apt install smartmontools
sudo dnf install smartmontools

Mai departe comenzile sunt scrise cu sudo. Dacă v-ați autentificat ca root, cum se întâmplă de obicei pe serverele Hetzner, îl puteți omite.

Notați discurile și numerele lor de serie

Comanda afișează discurile fizice fără partiții: numele în sistem, capacitatea, modelul și numărul de serie.

lsblk -d -o NAME,SIZE,TYPE,MODEL,SERIAL
NAME      SIZE TYPE MODEL                      SERIAL
nvme0n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00001
nvme1n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00002
lsblk arată un singur disc, deși serverul are mai multe, iar /proc/mdstat este gol

Cel mai probabil, serverul are un controler RAID hardware: sistemul vede matricea construită de el ca pe un singur disc. Comanda sudo smartctl --scan arată cum accesați discurile din spatele controlerului. Pentru controlerele MegaRAID aceasta este opțiunea -d cu numărul discului, de exemplu sudo smartctl -a -d megaraid,0 /dev/sda. Starea matricei însăși o arată utilitarul producătorului controlerului.

Păstrați numerele de serie ale tuturor discurilor. Numele precum sda sau nvme1n1 se pot inversa după înlocuire și repornire, iar numărul de serie rămâne același: după el tehnicianul găsește discul potrivit în server.

SATA și SAS: ce valori SMART urmăriți

Comanda afișează tot ce știe discul despre sine: modelul, numărul de serie, verdictul general și tabelul atributelor.

sudo smartctl -a /dev/sda

Mai întâi găsiți rândul cu verdictul:

SMART overall-health self-assessment test result: PASSED

FAILED înseamnă că discul însuși își recunoaște defecțiunea și trebuie înlocuit. PASSED nu garantează nimic: discul trece această verificare și atunci când deja pierde sectoare. De aceea priviți mai departe tabelul atributelor, coloana RAW_VALUE:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   067   067   000    Old_age   Always       -       29041
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
AtributCe numărăCând să vă îngrijorați
5 Reallocated_Sector_CtSectoare defecte pe care discul le-a înlocuit deja cu sectoare de rezervăMai mare decât zero și crește de la o verificare la alta
197 Current_Pending_SectorSectoare pe care discul nu le-a putut citi și pe care așteaptă să le realoceOrice număr mai mare decât zero
198 Offline_UncorrectableSectoare cu erori care nu au putut fi corectateOrice număr mai mare decât zero
199 UDMA_CRC_Error_CountErori de transfer între disc și controler, mai des din cauza cablului sau a conectoruluiCrește: anunțați în tichet, cablul îl schimbă centrul de date

La SSD-urile SATA uzura o arată un atribut care se numește diferit la diverși producători: Wear_Leveling_Count, Media_Wearout_Indicator, Percent_Lifetime_Remain. Priviți la el coloana VALUE: de obicei pornește de la 100 și scade pe măsură ce discul se uzează.

La discurile SAS rezultatul arată altfel. Verdictul este în rândul SMART Health Status (normal — OK), sectoarele realocate — în rândul Elements in grown defect list, iar erorile necorectate — în coloana Total uncorrected errors din tabelul Error counter log.

Dacă aveți dubii, rulați un autotest scurt. Discul îl face singur în câteva minute, iar serverul funcționează în acest timp. A doua comandă arată rezultatul: Completed without error — totul este în regulă, Completed: read failure — discul nu a putut citi o parte din suprafață.

sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sda

Erorile la autotest sunt un motiv să cereți înlocuirea. Păstrați rezultatul: vă va folosi pentru tichet.

NVMe: uzura și erorile mediului de stocare

Discurile NVMe nu au tabel de atribute, în locul lui există blocul SMART/Health Information:

sudo smartctl -a /dev/nvme0
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        41 Celsius
Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    7%
Media and Data Integrity Errors:    0
Error Information Log Entries:      0
RândulCe înseamnăCând să vă îngrijorați
Critical WarningIndicatori de probleme grave: s-a terminat rezerva, supraîncălzire, discul a trecut în modul doar citireOrice valoare în afară de 0x00
Percentage UsedCe parte din resursa de scriere declarată de producător a fost deja consumată. Poate depăși 100%Cu cât este mai aproape de 100%, cu atât riscul de defectare este mai mare. De la 90% faceți o copie și cereți înlocuirea, fără să așteptați defecțiunea
Available SpareCâte blocuri de rezervă au mai rămas pentru înlocuirea celor uzateA scăzut până la Available Spare Threshold
Media and Data Integrity ErrorsErori de date pe care discul nu le-a putut corectaOrice număr mai mare decât zero
Error Information Log EntriesÎnregistrări în jurnalul de erori al controleruluiNu este un motiv în sine: aici ajung și erori inofensive ale comenzilor

Dacă aveți dubii privind un disc dintr-o pereche, rulați aceeași comandă pentru al doilea: diferența de uzură și de erori arată care dintre ele este mai slab.

Verificați RAID-ul software: /proc/mdstat și mdadm

Pe serverele Hetzner și OVH cu mai multe discuri, Linux se instalează de obicei pe un RAID 1 software. Starea lui o arată o singură comandă:

cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 nvme1n1p3[1] nvme0n1p3[0]
      966188032 blocks super 1.2 [2/2] [UU]
      bitmap: 3/8 pages [12KB], 65536KB chunk

md1 : active raid1 nvme1n1p2[1] nvme0n1p2[0]
      1046528 blocks super 1.2 [2/2] [UU]

md0 : active raid1 nvme1n1p1[1] nvme0n1p1[0]
      33520640 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Aici sunt trei matrice, iar în fiecare câte două partiții, una pe fiecare disc. [2/2] [UU] înseamnă că matricea are 2 membri din 2 și amândoi funcționează. Așa arată o matrice din care a ieșit un disc:

md2 : active raid1 nvme0n1p3[0] nvme1n1p3[1](F)
      966188032 blocks super 1.2 [2/1] [U_]

(F) — partiția este marcată ca defectă, [2/1] [U_] — funcționează un membru din doi. Dacă discul a dispărut complet, partiția lui nu mai apare deloc în rând, iar [U_] rămâne.

Detaliile pentru o singură matrice le arată mdadm --detail. Normal este State : clean, un disc ieșit din matrice înseamnă clean, degraded și rândurile faulty sau removed în partea de jos:

sudo mdadm --detail /dev/md2
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 1

    Number   Major   Minor   RaidDevice State
       0     259        3        0      active sync   /dev/nvme0n1p3
       -       0        0        1      removed

       1     259        7        -      faulty   /dev/nvme1n1p3

RAID 0 nu vă protejează de defectarea unui disc. În el fiecare fișier este împărțit pe toate discurile, de aceea, dacă unul dintre ele se defectează, datele matricei se pierd în întregime. Dacă aveți RAID 0, copia de rezervă este singura protecție.

Chiar și atunci când matricea este întreagă, un disc cu un SMART îngrijorător e mai bine să fie înlocuit acum, cât timp funcționează ambele discuri.

Windows: ce puteți verifica

Windows nu are propriul smartctl, dar starea generală a discurilor se vede în PowerShell pornit ca administrator. Prima comandă afișează discurile cu numerele de serie și starea lor: la un disc sănătos HealthStatus este Healthy, la unul cu probleme — Warning sau Unhealthy.

Get-PhysicalDisk | Format-Table FriendlyName, SerialNumber, MediaType, HealthStatus, OperationalStatus

A doua arată contoarele de fiabilitate: Wear — uzura în procente, ReadErrorsUncorrected — erorile de citire necorectate. Unele discuri și drivere nu oferă aceste contoare, iar atunci coloanele sunt goale.

Get-PhysicalDisk | Get-StorageReliabilityCounter | Format-Table DeviceId, Wear, ReadErrorsUncorrected, Temperature, PowerOnHours

SMART-ul detaliat în Windows îl arată programele terțe: smartmontools pentru Windows (același smartctl) sau CrystalDiskInfo.

Cum este construit RAID-ul pe un server Windows depinde de instalare. Dacă este Storage Spaces, starea o arată Get-VirtualDisk: la o matrice întreagă HealthStatus este Healthy. Dacă este un volum în oglindă (mirror), deschideți Disk Management (diskmgmt.msc): un volum în stare bună are statusul Healthy. Tot acolo puteți reface oglinda după înlocuirea discului. Dacă nu știți sigur cum este construită matricea dvs., întrebați în tichet înainte de înlocuire.

Cum comandați înlocuirea discului

Mai întâi copia de rezervă. Cât timp matricea funcționează pe un singur disc, pe server nu mai există o a doua copie a datelor: dacă se defectează și acesta, datele se pierd. Reconstruirea după înlocuire solicită discul rămas, de aceea faceți copia înainte de ea. Conform ofertei, copiile de rezervă sunt obligația clientului, iar pentru pierderea datelor nu răspundem, cu excepția cazurilor din p. 7.2, așa cum prevede p. 5.5.

  1. Copiați datele importante de pe server

    Fișierele site-urilor, bazele de date, setările — pe alt server sau pe calculatorul dvs. Verificați că copia se deschide.

  2. Aflați numărul de serie al discului defect

    Comanda afișează rândul Serial Number. Pentru SATA și SAS indicați un disc precum /dev/sdb.

    sudo smartctl -i /dev/nvme1 | grep -i serial
  3. Salvați rezultatul SMART într-un fișier

    Comanda scrie raportul complet despre disc într-un fișier din folderul curent. Descărcați fișierul pe calculator (de exemplu, prin WinSCP sau scp) sau copiați rezultatul din terminal direct în tichet.

    sudo smartctl -a /dev/nvme1 > smart-nvme1.txt
  4. Scoateți discul defect din matrice

    Astfel matricea nu va accesa discul în momentul înlocuirii. Comanda marchează partiția ca defectă și o scoate din matrice. Repetați-o pentru fiecare matrice care conține partiții ale acestui disc: care sunt acestea se vede în cat /proc/mdstat. Dacă discul a dispărut deja din sistem, săriți acest pas.

    Scoateți doar partițiile discului defect. Dacă scoateți din greșeală discul bun, matricea va funcționa doar pe discul defect, iar tehnicianul îl va înlocui tocmai pe acesta, și nu va mai rămâne nicio matrice funcțională. Înainte de comandă verificați că numele discului (în exemplu nvme1n1) corespunde numărului de serie de la pasul anterior.

    sudo mdadm /dev/md0 --fail /dev/nvme1n1p1 --remove /dev/nvme1n1p1
    sudo mdadm /dev/md1 --fail /dev/nvme1n1p2 --remove /dev/nvme1n1p2
    sudo mdadm /dev/md2 --fail /dev/nvme1n1p3 --remove /dev/nvme1n1p3
  5. Scrieți în tichet

    Copiați șablonul în tichet și atașați fișierul cu rezultatul SMART. Numărul de serie al discului bun vă asigură împotriva unei greșeli: tehnicianul va ști ce disc nu trebuie atins.

    Server: #1234567
    Înlocuiți discul: număr de serie S6EXAMPLE00002 (acum /dev/nvme1n1)
    Discul bun, nu-l atingeți: S6EXAMPLE00001
    Motiv: Media and Data Integrity Errors cresc, discul a ieșit din RAID
    Rezultatul smartctl -a: în atașament
    Copia de rezervă este făcută. Serverul poate fi oprit: oricând
  6. Așteptați mesajul despre înlocuire

    Pe durata înlocuirii serverul, de regulă, este oprit și nu este accesibil cât lucrează tehnicianul. Cât durează depinde de centrul de date. Dacă vă convine ca întreruperea să fie la o anumită oră, scrieți acest lucru în tichet, iar noi îl transmitem centrului de date. Când discul este înlocuit, vă scriem în același tichet.

Dacă serverul nu a pornit după înlocuire, cereți consola: la Hetzner o conectăm noi (consola KVM Hetzner), la OVH o aveți în panoul dvs. (Rescue și IPMI pe OVH).

Cum reconstruiți RAID-ul după înlocuirea discului

Discul nou vine de obicei fără partiții și nu intră singur în matrice. În exemplu discul bun este nvme0n1, cel nou — nvme1n1. La discurile SATA numele vor fi de tipul sda și sdb, iar partițiile — sdb1 în loc de nvme1n1p1.

Nu încurcați discurile. Tabela de partiții se copiază de pe discul bun pe cel nou. Dacă le inversați, tabela goală a discului nou se scrie peste tabela discului bun, iar datele devin inaccesibile. Înainte de copiere verificați numerele de serie și asigurați-vă că discul nou nu are partiții. Numele discurilor se pot schimba după înlocuire: folosiți în comenzi numele dvs., nu pe cele din exemplu.

  1. Găsiți discul nou

    Discul nou are un număr de serie necunoscut și nicio partiție sub el. Discul bun îl recunoașteți după numărul de serie notat înainte de înlocuire și după partițiile lui, sub care se văd matrice md de tip raid1.

    lsblk -o NAME,SIZE,TYPE,SERIAL
  2. Aflați tipul tabelei de partiții a discului bun

    Comanda răspunde gpt sau dos. De aceasta depinde cu ce comandă copiați tabela.

    lsblk -d -o NAME,PTTYPE /dev/nvme0n1
  3. Salvați tabela de partiții a discului bun într-un fișier

    Este o măsură de siguranță: dacă ceva merge prost, tabela se poate restaura din fișier. Prima comandă este pentru GPT, a doua pentru MBR (dos). Fișierul apare în folderul curent. Dacă nu aveți comanda sgdisk, instalați pachetul gdisk.

    sudo sgdisk --backup=nvme0n1-table.bak /dev/nvme0n1
    sudo sfdisk -d /dev/nvme0n1 > nvme0n1-table.txt
  4. Copiați tabela de partiții de pe discul bun pe cel nou

    GPT. În sgdisk ordinea discurilor este inversă celei obișnuite: imediat după -R se scrie discul nou (pe care copiați), iar la urmă — discul bun (de pe care copiați). A doua comandă îi dă discului nou identificatori proprii, ca să nu coincidă cu cei ai discului bun.

    sudo sgdisk -R /dev/nvme1n1 /dev/nvme0n1
    sudo sgdisk -G /dev/nvme1n1

    MBR (dos). Aici ordinea este cea obișnuită: în stânga discul bun, de pe care se citește tabela, în dreapta cel nou, pe care se scrie.

    sudo sfdisk -d /dev/nvme0n1 | sudo sfdisk /dev/nvme1n1

    Verificați rezultatul cu comanda lsblk: ambele discuri trebuie să aibă aceleași partiții.

  5. Adăugați partițiile discului nou în matrice

    Numărul partiției coincide cu cel al discului bun din aceeași matrice: dacă în md0 este nvme0n1p1, adăugați nvme1n1p1. Parcurgeți toate matricele din cat /proc/mdstat: este posibil să aveți mai multe sau mai puține decât trei.

    sudo mdadm /dev/md0 --add /dev/nvme1n1p1
    sudo mdadm /dev/md1 --add /dev/nvme1n1p2
    sudo mdadm /dev/md2 --add /dev/nvme1n1p3
  6. Așteptați sincronizarea

    Matricea copiază datele pe discul nou în fundal; serverul funcționează în tot acest timp, doar mai lent decât de obicei. Comanda actualizează starea la fiecare 10 secunde, ieșirea — Ctrl+C. HDD-urile de mai mulți terabytes se sincronizează multe ore.

    watch -n 10 cat /proc/mdstat
    md2 : active raid1 nvme1n1p3[2] nvme0n1p3[0]
          966188032 blocks super 1.2 [2/1] [U_]
          [==>..................]  recovery = 12.6% (121780224/966188032) finish=68.2min speed=206342K/sec
  7. Instalați bootloaderul pe discul nou

    Altfel serverul nu va porni de pe discul nou dacă mai târziu se defectează cel vechi. Mai întâi aflați modul de pornire:

    [ -d /sys/firmware/efi ] && echo UEFI || echo BIOS

    Dacă răspunsul este BIOS, instalați bootloaderul pe discul nou. Comanda este pentru Ubuntu și Debian, pe AlmaLinux și Rocky Linux ea se numește grub2-install:

    sudo grub-install /dev/nvme1n1

    Dacă răspunsul este UEFI, bootloaderul se află pe o partiție EFI separată, iar cum îl reproduceți pe discul nou depinde de modul în care a fost instalat sistemul. Comanda findmnt /boot/efi arată unde se află: dacă în răspuns apare o matrice /dev/md…, partiția se sincronizează deja împreună cu celelalte. Dacă în răspuns apare partiția unui singur disc, scrieți în tichet înainte de a reporni serverul și atașați rezultatul findmnt /boot/efi și lsblk.

Când sincronizarea s-a terminat și bootloaderul este pe ambele discuri, matricea va supraviețui din nou defectării unuia dintre ele.

Cum verificați că totul a reușit

În cat /proc/mdstat fiecare matrice are din nou [2/2] [UU] și nu mai există rândul recovery, iar sudo mdadm --detail /dev/md2 arată State : clean. Verificați SMART-ul discului nou cu aceeași comandă smartctl -a: nu trebuie să aibă erori.

Dacă nu a reușit

Ce vedețiDe ceCe faceți
mdadm: /dev/nvme1n1p3 not large enough to join arrayPartiția de pe discul nou este mai mică decât cea din matrice: tabela s-a copiat greșit sau discul nou este mai mic decât cel vechiComparați partițiile în lsblk. Dacă discul însuși este mai mic, scrieți în tichet
mdadm: Cannot open /dev/nvme1n1p1: Device or resource busyPartiția este deja ocupată: deseori sistemul a asamblat singur, din tabela veche a discului nou, o matrice în plus, de tipul md127Priviți cat /proc/mdstat. Dacă în matricea în plus sunt doar partițiile discului nou, opriți-o cu comanda sudo mdadm --stop /dev/md127 și repetați --add
Discul nou nu se vede în lsblkDiscul nu a fost detectat sau a fost înlocuit alt discComparați numerele de serie cu cele notate înainte de înlocuire și scrieți în tichet
Serverul nu pornește după înlocuireBootloaderul era doar pe discul scos sau BIOS-ul caută pornirea pe cel nouÎn consolă alegeți pornirea de pe discul bun sau porniți în Rescue și instalați bootloaderul: Rescue System Hetzner, Rescue pe OVH

Dacă matricea nu se reconstruiește, opriți-vă și scrieți în tichet, atașând rezultatul cat /proc/mdstat și lsblk: încercările în plus pe o matrice cu un singur disc sunt mai periculoase decât o pauză.

Întrebări frecvente

SMART arată PASSED. Înseamnă că discul este în regulă?
Nu neapărat. Verdictul general se schimbă în FAILED abia când discul aproape s-a defectat. Priviți contoarele sectoarelor realocate și ale celor în așteptare, iar la NVMe — Media and Data Integrity Errors și Percentage Used.
La NVMe Percentage Used este 93%. Discul se va defecta curând?
Aceasta este partea consumată din resursa de scriere declarată de producător. Discul poate funcționa și mai mult, dar rezerva aproape s-a terminat. Faceți o copie a datelor și scrieți-ne despre înlocuire, fără să așteptați defectarea.
Pot salva datele de pe un RAID 0 după defectarea unui disc?
De regulă, nu: în RAID 0 fiecare fișier este împărțit pe ambele discuri, iar fără unul dintre ele matricea nu mai poate fi asamblată. Datele se restaurează din copia de rezervă.
Se poate înlocui discul fără oprirea serverului?
Depinde de server și de centrul de date. Scrieți în tichet când vă convine întreruperea, iar noi o transmitem centrului de date.

V-a ajutat ghidul?

Întrebări?