Первые шаги

Как проверить диски и RAID сервера и заказать замену

Две команды за пять минут покажут, здоров ли диск и цел ли RAID. Здесь же — когда просить замену, что прислать нам и как пересобрать массив, когда новый диск уже стоит.

  • Время: 20 минут
  • Сложность: Средне

Коротко

  • Здоровье диска показывает smartctl -a /dev/sda для SATA и SAS и smartctl -a /dev/nvme0 для NVMe. Тревожные признаки: ненулевые Current_Pending_Sector и растущий Reallocated_Sector_Ct, у NVMe — Percentage Used около 100% и ненулевые Media and Data Integrity Errors.
  • Состояние RAID показывает cat /proc/mdstat: [UU] — оба диска в строю, [U_] — один выпал, и массив работает без запаса.
  • Для замены пришлите в тикет серийный номер неисправного диска и вывод smartctl -a. На время замены сервер, как правило, выключают. Потом массив пересобираете вы: копируете разметку с исправного диска на новый (не наоборот) и добавляете новый диск командой mdadm --add.
  • Перед заменой сделайте резервную копию: по оферте копии данных делаете вы, а массив с одним живым диском держится до первого сбоя.
Содержание
  1. Установите smartmontools
  2. Запишите диски и их серийные номера
  3. SATA и SAS: какие значения SMART смотреть
  4. NVMe: износ и ошибки носителя
  5. Проверьте программный RAID: /proc/mdstat и mdadm
  6. Windows: что можно проверить
  7. Как заказать замену диска
  8. Как пересобрать RAID после замены диска
  9. Как проверить, что всё получилось
  10. Если не получилось
  11. Частые вопросы

Что понадобится

  • Вход на сервер по SSH под root или пользователем с sudo: как подключиться по SSH.
  • Свежая резервная копия важных данных, если собираетесь менять диск.

Команды ниже — для Linux. Что можно проверить в Windows, описано в отдельном разделе: возможностей там меньше.

Установите smartmontools

Программа smartctl из пакета smartmontools читает SMART — журнал самодиагностики, который ведёт каждый диск. Установите пакет первой командой на Ubuntu и Debian или второй на AlmaLinux и Rocky Linux:

sudo apt install smartmontools
sudo dnf install smartmontools

Дальше команды написаны с sudo. Если вы вошли под root, как обычно бывает на серверах Hetzner, его можно не писать.

Запишите диски и их серийные номера

Команда выводит физические диски без разделов: имя в системе, объём, модель и серийный номер.

lsblk -d -o NAME,SIZE,TYPE,MODEL,SERIAL
NAME      SIZE TYPE MODEL                      SERIAL
nvme0n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00001
nvme1n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00002
lsblk показывает один диск, хотя в сервере их несколько, а /proc/mdstat пуст

Скорее всего, в сервере аппаратный RAID-контроллер: система видит собранный им массив как один диск. Команда sudo smartctl --scan покажет, как обращаться к дискам за контроллером. Для контроллеров MegaRAID это ключ -d с номером диска, например sudo smartctl -a -d megaraid,0 /dev/sda. Состояние самого массива показывает утилита производителя контроллера.

Сохраните серийные номера всех дисков. Имена вроде sda или nvme1n1 после замены и перезагрузки могут поменяться местами, а серийный номер остаётся тем же: по нему техник находит нужный диск в сервере.

SATA и SAS: какие значения SMART смотреть

Команда выводит всё, что диск знает о себе: модель, серийный номер, общий вердикт и таблицу атрибутов.

sudo smartctl -a /dev/sda

Сначала найдите строку с вердиктом:

SMART overall-health self-assessment test result: PASSED

FAILED значит, что диск сам признаёт неисправность, и его пора менять. PASSED ничего не гарантирует: диск проходит эту проверку и тогда, когда уже теряет секторы. Поэтому дальше смотрите таблицу атрибутов, колонку RAW_VALUE:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   067   067   000    Old_age   Always       -       29041
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
АтрибутЧто считаетКогда беспокоиться
5 Reallocated_Sector_CtИспорченные секторы, которые диск уже заменил запаснымиБольше нуля и растёт от проверки к проверке
197 Current_Pending_SectorСекторы, которые диск не смог прочитать и ждёт, чтобы переназначитьЛюбое число больше нуля
198 Offline_UncorrectableСекторы с ошибками, которые не удалось исправитьЛюбое число больше нуля
199 UDMA_CRC_Error_CountОшибки передачи между диском и контроллером, чаще из-за кабеля или разъёмаРастёт: сообщите в тикете, кабель меняет дата-центр

У SATA-SSD износ показывает атрибут, который у разных производителей называется по-разному: Wear_Leveling_Count, Media_Wearout_Indicator, Percent_Lifetime_Remain. Смотрите у него колонку VALUE: обычно она начинается со 100 и уменьшается по мере износа.

У дисков SAS вывод устроен иначе. Вердикт стоит в строке SMART Health Status (норма — OK), переназначенные секторы — в строке Elements in grown defect list, а неисправленные ошибки — в колонке Total uncorrected errors таблицы Error counter log.

Если сомневаетесь, запустите короткую самопроверку. Диск проводит её сам за пару минут, сервер в это время работает. Вторая команда показывает результат: Completed without error — всё хорошо, Completed: read failure — диск не смог прочитать часть поверхности.

sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sda

Ошибки самопроверки — повод просить замену. Сохраните её вывод: он пригодится для тикета.

NVMe: износ и ошибки носителя

У NVMe-дисков нет таблицы атрибутов, вместо неё блок SMART/Health Information:

sudo smartctl -a /dev/nvme0
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        41 Celsius
Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    7%
Media and Data Integrity Errors:    0
Error Information Log Entries:      0
СтрокаЧто значитКогда беспокоиться
Critical WarningФлаги серьёзных неполадок: кончился запас, перегрев, диск перешёл в режим только для чтенияЛюбое значение, кроме 0x00
Percentage UsedКакая доля ресурса записи, заявленного производителем, уже израсходована. Может стать больше 100%Чем ближе к 100%, тем выше риск отказа. От 90% делайте копию и просите замену, не дожидаясь сбоя
Available SpareСколько осталось запасных блоков на замену изношеннымОпустилось до Available Spare Threshold
Media and Data Integrity ErrorsОшибки данных, которые диск не смог исправитьЛюбое число больше нуля
Error Information Log EntriesЗаписи в журнале ошибок контроллераСамо по себе не повод: сюда попадают и безобидные ошибки команд

Если сомневаетесь в одном диске из пары, запустите ту же команду для второго: разница в износе и ошибках покажет, какой из них слабее.

Проверьте программный RAID: /proc/mdstat и mdadm

На серверах Hetzner и OVH с несколькими дисками Linux обычно ставят на программный RAID 1. Его состояние показывает одна команда:

cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 nvme1n1p3[1] nvme0n1p3[0]
      966188032 blocks super 1.2 [2/2] [UU]
      bitmap: 3/8 pages [12KB], 65536KB chunk

md1 : active raid1 nvme1n1p2[1] nvme0n1p2[0]
      1046528 blocks super 1.2 [2/2] [UU]

md0 : active raid1 nvme1n1p1[1] nvme0n1p1[0]
      33520640 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Здесь три массива, и в каждом два раздела, по одному на каждом диске. [2/2] [UU] значит, что в массиве оба участника из двух и оба работают. Так выглядит массив, из которого выпал диск:

md2 : active raid1 nvme0n1p3[0] nvme1n1p3[1](F)
      966188032 blocks super 1.2 [2/1] [U_]

(F) — раздел помечен сбойным, [2/1] [U_] — работает один участник из двух. Если диск пропал совсем, его раздела в строке не будет вовсе, а [U_] останется.

Подробности по одному массиву показывает mdadm --detail. Норма — State : clean, выпавший диск — clean, degraded и строки faulty или removed внизу:

sudo mdadm --detail /dev/md2
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 1

    Number   Major   Minor   RaidDevice State
       0     259        3        0      active sync   /dev/nvme0n1p3
       -       0        0        1      removed

       1     259        7        -      faulty   /dev/nvme1n1p3

RAID 0 от отказа диска не защищает. В нём каждый файл разложен по всем дискам, поэтому при отказе одного из них данные массива теряются целиком. Если у вас RAID 0, резервная копия — единственная защита.

Даже когда массив цел, диск с тревожным SMART лучше заменить сейчас, пока работают оба диска.

Windows: что можно проверить

Своего smartctl в Windows нет, но общее состояние дисков видно в PowerShell, запущенном от имени администратора. Первая команда выводит диски с серийными номерами и состоянием: у исправного диска HealthStatus — Healthy, у проблемного — Warning или Unhealthy.

Get-PhysicalDisk | Format-Table FriendlyName, SerialNumber, MediaType, HealthStatus, OperationalStatus

Вторая показывает счётчики надёжности: Wear — износ в процентах, ReadErrorsUncorrected — неисправленные ошибки чтения. Часть дисков и драйверов эти счётчики не отдаёт, тогда колонки пустые.

Get-PhysicalDisk | Get-StorageReliabilityCounter | Format-Table DeviceId, Wear, ReadErrorsUncorrected, Temperature, PowerOnHours

Подробный SMART в Windows показывают сторонние программы: smartmontools для Windows (тот же smartctl) или CrystalDiskInfo.

Как собран RAID на Windows-сервере, зависит от установки. Если это «Дисковые пространства», состояние покажет Get-VirtualDisk: у целого массива HealthStatus — Healthy. Если это зеркальный том, откройте «Управление дисками» (diskmgmt.msc): у исправного тома статус «Исправен» (Healthy в английской Windows). Пересобрать зеркало после замены диска можно там же. Если не уверены, как устроен ваш массив, спросите в тикете до замены.

Как заказать замену диска

Сначала резервная копия. Пока массив работает на одном диске, запасной копии данных на сервере нет: если откажет и он, данные пропадут. Пересборка после замены нагружает оставшийся диск, поэтому копию делайте до неё. По оферте резервное копирование — обязанность клиента, и за потерю данных мы не отвечаем, кроме случаев из п. 7.2: так сказано в п. 5.5.

  1. Скопируйте важные данные с сервера

    Файлы сайтов, базы данных, настройки — на другой сервер или свой компьютер. Проверьте, что копия открывается.

  2. Узнайте серийный номер неисправного диска

    Команда печатает строку Serial Number. Для SATA и SAS укажите диск вроде /dev/sdb.

    sudo smartctl -i /dev/nvme1 | grep -i serial
  3. Сохраните вывод SMART в файл

    Команда записывает полный отчёт о диске в файл в текущей папке. Скачайте файл на компьютер (например, через WinSCP или scp) или скопируйте вывод из терминала прямо в тикет.

    sudo smartctl -a /dev/nvme1 > smart-nvme1.txt
  4. Выведите неисправный диск из массива

    Так массив не будет обращаться к диску в момент замены. Команда помечает раздел сбойным и убирает его из массива. Повторите её для каждого массива, где есть разделы этого диска: какие это массивы, видно в cat /proc/mdstat. Если диск уже пропал из системы, шаг пропустите.

    Выводите только разделы неисправного диска. Если по ошибке вывести исправный, массив будет работать только на сбойном диске, а техник заменит именно его, и рабочего массива не останется. Перед командой сверьте имя диска (в примере nvme1n1) с серийным номером из предыдущего шага.

    sudo mdadm /dev/md0 --fail /dev/nvme1n1p1 --remove /dev/nvme1n1p1
    sudo mdadm /dev/md1 --fail /dev/nvme1n1p2 --remove /dev/nvme1n1p2
    sudo mdadm /dev/md2 --fail /dev/nvme1n1p3 --remove /dev/nvme1n1p3
  5. Напишите в тикет

    Скопируйте шаблон в тикет и приложите файл с выводом SMART. Серийный номер исправного диска страхует от ошибки: техник будет знать, какой диск трогать нельзя.

    Сервер: #1234567
    Заменить диск: серийный номер S6EXAMPLE00002 (сейчас /dev/nvme1n1)
    Исправный диск, его не трогать: S6EXAMPLE00001
    Причина: Media and Data Integrity Errors растут, диск выпал из RAID
    Вывод smartctl -a: во вложении
    Резервная копия сделана. Сервер можно выключить: в любое время
  6. Дождитесь сообщения о замене

    На время замены сервер, как правило, выключают, и он недоступен, пока техник работает. Сколько это займёт, зависит от дата-центра. Если простой удобнее в определённое время, напишите об этом в тикете, и мы передадим это дата-центру. Когда диск заменят, мы напишем в тот же тикет.

Не загрузился сервер после замены — запросите консоль: на Hetzner её подключаем мы (KVM-консоль Hetzner), на OVH она есть в вашей панели (Rescue и IPMI на OVH).

Как пересобрать RAID после замены диска

Новый диск обычно приходит без разметки, и в массив он сам не встанет. В примере исправный диск nvme0n1, новый nvme1n1. У дисков SATA имена будут вроде sda и sdb, а разделы — sdb1 вместо nvme1n1p1.

Не перепутайте диски. Разметку копируют с исправного диска на новый. Если поменять их местами, пустая разметка нового диска запишется поверх разметки исправного, и данные станут недоступны. Перед копированием сверьте серийные номера и убедитесь, что у нового диска нет разделов. Имена дисков после замены могли поменяться: подставляйте в команды свои, а не из примера.

  1. Найдите новый диск

    У нового диска будет незнакомый серийный номер и не будет разделов под ним. Исправный диск узнаете по серийному номеру, который записали до замены, и по разделам, под которыми видны массивы md с типом raid1.

    lsblk -o NAME,SIZE,TYPE,SERIAL
  2. Узнайте тип разметки исправного диска

    Команда ответит gpt или dos. От этого зависит, какой командой копировать разметку.

    lsblk -d -o NAME,PTTYPE /dev/nvme0n1
  3. Сохраните разметку исправного диска в файл

    Это страховка: если что-то пойдёт не так, разметку можно будет вернуть из файла. Первая команда для GPT, вторая для MBR (dos). Файл появится в текущей папке. Если команды sgdisk нет, поставьте пакет gdisk.

    sudo sgdisk --backup=nvme0n1-table.bak /dev/nvme0n1
    sudo sfdisk -d /dev/nvme0n1 > nvme0n1-table.txt
  4. Скопируйте разметку с исправного диска на новый

    GPT. В sgdisk порядок дисков обратный привычному: сразу после -R пишут новый диск (куда копировать), последним — исправный (откуда). Вторая команда выдаёт новому диску собственные идентификаторы, чтобы они не совпадали с исправным.

    sudo sgdisk -R /dev/nvme1n1 /dev/nvme0n1
    sudo sgdisk -G /dev/nvme1n1

    MBR (dos). Здесь порядок привычный: слева исправный диск, с которого читают разметку, справа новый, на который её записывают.

    sudo sfdisk -d /dev/nvme0n1 | sudo sfdisk /dev/nvme1n1

    Проверьте результат командой lsblk: у обоих дисков должны быть одинаковые разделы.

  5. Добавьте разделы нового диска в массивы

    Номер раздела совпадает с тем, что у исправного диска в том же массиве: если в md0 стоит nvme0n1p1, добавляйте nvme1n1p1. Пройдите все массивы из cat /proc/mdstat: у вас их может быть больше или меньше трёх.

    sudo mdadm /dev/md0 --add /dev/nvme1n1p1
    sudo mdadm /dev/md1 --add /dev/nvme1n1p2
    sudo mdadm /dev/md2 --add /dev/nvme1n1p3
  6. Дождитесь синхронизации

    Массив копирует данные на новый диск в фоне, сервер всё это время работает, только медленнее обычного. Команда обновляет состояние каждые 10 секунд, выход — Ctrl+C. Многотерабайтные HDD синхронизируются много часов.

    watch -n 10 cat /proc/mdstat
    md2 : active raid1 nvme1n1p3[2] nvme0n1p3[0]
          966188032 blocks super 1.2 [2/1] [U_]
          [==>..................]  recovery = 12.6% (121780224/966188032) finish=68.2min speed=206342K/sec
  7. Установите загрузчик на новый диск

    Иначе сервер не загрузится с нового диска, если позже откажет старый. Сначала узнайте режим загрузки:

    [ -d /sys/firmware/efi ] && echo UEFI || echo BIOS

    Если ответ BIOS, поставьте загрузчик на новый диск. Команда для Ubuntu и Debian, на AlmaLinux и Rocky Linux она называется grub2-install:

    sudo grub-install /dev/nvme1n1

    Если ответ UEFI, загрузчик лежит на отдельном разделе EFI, и как повторить его на новом диске, зависит от того, как ставили систему. Команда findmnt /boot/efi покажет, где он: если в ответе массив /dev/md…, раздел уже синхронизируется вместе с остальными. Если в ответе раздел одного диска, напишите в тикет до перезагрузки сервера и приложите вывод findmnt /boot/efi и lsblk.

Когда синхронизация закончилась и загрузчик стоит на обоих дисках, массив снова переживёт отказ одного из них.

Как проверить, что всё получилось

В cat /proc/mdstat у каждого массива снова [2/2] [UU] и нет строки recovery, а sudo mdadm --detail /dev/md2 показывает State : clean. Проверьте SMART нового диска той же командой smartctl -a: ошибок у него быть не должно.

Если не получилось

Что видитеПочемуЧто делать
mdadm: /dev/nvme1n1p3 not large enough to join arrayРаздел на новом диске меньше, чем в массиве: разметка скопировалась не так или новый диск меньше старогоСравните разделы в lsblk. Если меньше сам диск, напишите в тикет
mdadm: Cannot open /dev/nvme1n1p1: Device or resource busyРаздел уже занят: часто система сама собрала из старой разметки нового диска лишний массив вроде md127Посмотрите cat /proc/mdstat. Если в лишнем массиве только разделы нового диска, остановите его командой sudo mdadm --stop /dev/md127 и повторите --add
Новый диск не виден в lsblkДиск не определился или заменили другой дискСверьте серийные номера с теми, что записали до замены, и напишите в тикет
Сервер не загружается после заменыЗагрузчик был только на снятом диске или BIOS ищет загрузку на новомВ консоли выберите загрузку с исправного диска или загрузитесь в Rescue и поставьте загрузчик: Rescue System Hetzner, Rescue на OVH

Если массив не собирается, остановитесь и напишите в тикет, приложив вывод cat /proc/mdstat и lsblk: лишние попытки на массиве с одним диском опаснее паузы.

Частые вопросы

SMART пишет PASSED. Значит, диск в порядке?
Не обязательно. Общий вердикт меняется на FAILED, когда диск уже почти отказал. Смотрите счётчики переназначенных и ожидающих секторов, а у NVMe — Media and Data Integrity Errors и Percentage Used.
У NVMe Percentage Used 93%. Диск скоро откажет?
Это доля ресурса записи, заявленного производителем. Диск может проработать и дольше, но запаса почти нет. Сделайте копию данных и напишите нам о замене, не дожидаясь отказа.
Можно ли спасти данные с RAID 0 после отказа диска?
Как правило, нет: в RAID 0 каждый файл разложен по обоим дискам, и без одного из них массив не собрать. Данные восстанавливают из резервной копии.
Можно ли заменить диск без выключения сервера?
Это зависит от сервера и дата-центра. Напишите в тикете, когда вам удобнее простой, и мы передадим это дата-центру.

Инструкция помогла?

Есть вопросы?