Первые шаги
Как проверить диски и RAID сервера и заказать замену
Две команды за пять минут покажут, здоров ли диск и цел ли RAID. Здесь же — когда просить замену, что прислать нам и как пересобрать массив, когда новый диск уже стоит.
Коротко
- Здоровье диска показывает
smartctl -a /dev/sdaдля SATA и SAS иsmartctl -a /dev/nvme0для NVMe. Тревожные признаки: ненулевыеCurrent_Pending_Sectorи растущийReallocated_Sector_Ct, у NVMe —Percentage Usedоколо 100% и ненулевыеMedia and Data Integrity Errors. - Состояние RAID показывает
cat /proc/mdstat:[UU]— оба диска в строю,[U_]— один выпал, и массив работает без запаса. - Для замены пришлите в тикет серийный номер неисправного диска и вывод
smartctl -a. На время замены сервер, как правило, выключают. Потом массив пересобираете вы: копируете разметку с исправного диска на новый (не наоборот) и добавляете новый диск командойmdadm --add. - Перед заменой сделайте резервную копию: по оферте копии данных делаете вы, а массив с одним живым диском держится до первого сбоя.
Содержание
- Установите smartmontools
- Запишите диски и их серийные номера
- SATA и SAS: какие значения SMART смотреть
- NVMe: износ и ошибки носителя
- Проверьте программный RAID: /proc/mdstat и mdadm
- Windows: что можно проверить
- Как заказать замену диска
- Как пересобрать RAID после замены диска
- Как проверить, что всё получилось
- Если не получилось
- Частые вопросы
Что понадобится
- Вход на сервер по SSH под root или пользователем с sudo: как подключиться по SSH.
- Свежая резервная копия важных данных, если собираетесь менять диск.
Команды ниже — для Linux. Что можно проверить в Windows, описано в отдельном разделе: возможностей там меньше.
Установите smartmontools
Программа smartctl из пакета smartmontools читает SMART — журнал самодиагностики, который ведёт каждый диск. Установите пакет первой командой на Ubuntu и Debian или второй на AlmaLinux и Rocky Linux:
sudo apt install smartmontools
sudo dnf install smartmontools
Дальше команды написаны с sudo. Если вы вошли под root, как обычно бывает на серверах Hetzner, его можно не писать.
Запишите диски и их серийные номера
Команда выводит физические диски без разделов: имя в системе, объём, модель и серийный номер.
lsblk -d -o NAME,SIZE,TYPE,MODEL,SERIAL
NAME SIZE TYPE MODEL SERIAL
nvme0n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00001
nvme1n1 953.9G disk SAMSUNG MZVL21T0HCLR-00B00 S6EXAMPLE00002
lsblk показывает один диск, хотя в сервере их несколько, а /proc/mdstat пуст
Скорее всего, в сервере аппаратный RAID-контроллер: система видит собранный им массив как один диск. Команда sudo smartctl --scan покажет, как обращаться к дискам за контроллером. Для контроллеров MegaRAID это ключ -d с номером диска, например sudo smartctl -a -d megaraid,0 /dev/sda. Состояние самого массива показывает утилита производителя контроллера.
Сохраните серийные номера всех дисков. Имена вроде sda или nvme1n1 после замены и перезагрузки могут поменяться местами, а серийный номер остаётся тем же: по нему техник находит нужный диск в сервере.
SATA и SAS: какие значения SMART смотреть
Команда выводит всё, что диск знает о себе: модель, серийный номер, общий вердикт и таблицу атрибутов.
sudo smartctl -a /dev/sda
Сначала найдите строку с вердиктом:
SMART overall-health self-assessment test result: PASSED
FAILED значит, что диск сам признаёт неисправность, и его пора менять. PASSED ничего не гарантирует: диск проходит эту проверку и тогда, когда уже теряет секторы. Поэтому дальше смотрите таблицу атрибутов, колонку RAW_VALUE:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
9 Power_On_Hours 0x0032 067 067 000 Old_age Always - 29041
197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0
| Атрибут | Что считает | Когда беспокоиться |
|---|---|---|
5 Reallocated_Sector_Ct | Испорченные секторы, которые диск уже заменил запасными | Больше нуля и растёт от проверки к проверке |
197 Current_Pending_Sector | Секторы, которые диск не смог прочитать и ждёт, чтобы переназначить | Любое число больше нуля |
198 Offline_Uncorrectable | Секторы с ошибками, которые не удалось исправить | Любое число больше нуля |
199 UDMA_CRC_Error_Count | Ошибки передачи между диском и контроллером, чаще из-за кабеля или разъёма | Растёт: сообщите в тикете, кабель меняет дата-центр |
У SATA-SSD износ показывает атрибут, который у разных производителей называется по-разному: Wear_Leveling_Count, Media_Wearout_Indicator, Percent_Lifetime_Remain. Смотрите у него колонку VALUE: обычно она начинается со 100 и уменьшается по мере износа.
У дисков SAS вывод устроен иначе. Вердикт стоит в строке SMART Health Status (норма — OK), переназначенные секторы — в строке Elements in grown defect list, а неисправленные ошибки — в колонке Total uncorrected errors таблицы Error counter log.
Если сомневаетесь, запустите короткую самопроверку. Диск проводит её сам за пару минут, сервер в это время работает. Вторая команда показывает результат: Completed without error — всё хорошо, Completed: read failure — диск не смог прочитать часть поверхности.
sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sda
Ошибки самопроверки — повод просить замену. Сохраните её вывод: он пригодится для тикета.
NVMe: износ и ошибки носителя
У NVMe-дисков нет таблицы атрибутов, вместо неё блок SMART/Health Information:
sudo smartctl -a /dev/nvme0
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning: 0x00
Temperature: 41 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 7%
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
| Строка | Что значит | Когда беспокоиться |
|---|---|---|
Critical Warning | Флаги серьёзных неполадок: кончился запас, перегрев, диск перешёл в режим только для чтения | Любое значение, кроме 0x00 |
Percentage Used | Какая доля ресурса записи, заявленного производителем, уже израсходована. Может стать больше 100% | Чем ближе к 100%, тем выше риск отказа. От 90% делайте копию и просите замену, не дожидаясь сбоя |
Available Spare | Сколько осталось запасных блоков на замену изношенным | Опустилось до Available Spare Threshold |
Media and Data Integrity Errors | Ошибки данных, которые диск не смог исправить | Любое число больше нуля |
Error Information Log Entries | Записи в журнале ошибок контроллера | Само по себе не повод: сюда попадают и безобидные ошибки команд |
Если сомневаетесь в одном диске из пары, запустите ту же команду для второго: разница в износе и ошибках покажет, какой из них слабее.
Проверьте программный RAID: /proc/mdstat и mdadm
На серверах Hetzner и OVH с несколькими дисками Linux обычно ставят на программный RAID 1. Его состояние показывает одна команда:
cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 nvme1n1p3[1] nvme0n1p3[0]
966188032 blocks super 1.2 [2/2] [UU]
bitmap: 3/8 pages [12KB], 65536KB chunk
md1 : active raid1 nvme1n1p2[1] nvme0n1p2[0]
1046528 blocks super 1.2 [2/2] [UU]
md0 : active raid1 nvme1n1p1[1] nvme0n1p1[0]
33520640 blocks super 1.2 [2/2] [UU]
unused devices: <none>
Здесь три массива, и в каждом два раздела, по одному на каждом диске. [2/2] [UU] значит, что в массиве оба участника из двух и оба работают. Так выглядит массив, из которого выпал диск:
md2 : active raid1 nvme0n1p3[0] nvme1n1p3[1](F)
966188032 blocks super 1.2 [2/1] [U_]
(F) — раздел помечен сбойным, [2/1] [U_] — работает один участник из двух. Если диск пропал совсем, его раздела в строке не будет вовсе, а [U_] останется.
Подробности по одному массиву показывает mdadm --detail. Норма — State : clean, выпавший диск — clean, degraded и строки faulty или removed внизу:
sudo mdadm --detail /dev/md2
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Number Major Minor RaidDevice State
0 259 3 0 active sync /dev/nvme0n1p3
- 0 0 1 removed
1 259 7 - faulty /dev/nvme1n1p3
RAID 0 от отказа диска не защищает. В нём каждый файл разложен по всем дискам, поэтому при отказе одного из них данные массива теряются целиком. Если у вас RAID 0, резервная копия — единственная защита.
Даже когда массив цел, диск с тревожным SMART лучше заменить сейчас, пока работают оба диска.
Windows: что можно проверить
Своего smartctl в Windows нет, но общее состояние дисков видно в PowerShell, запущенном от имени администратора. Первая команда выводит диски с серийными номерами и состоянием: у исправного диска HealthStatus — Healthy, у проблемного — Warning или Unhealthy.
Get-PhysicalDisk | Format-Table FriendlyName, SerialNumber, MediaType, HealthStatus, OperationalStatus
Вторая показывает счётчики надёжности: Wear — износ в процентах, ReadErrorsUncorrected — неисправленные ошибки чтения. Часть дисков и драйверов эти счётчики не отдаёт, тогда колонки пустые.
Get-PhysicalDisk | Get-StorageReliabilityCounter | Format-Table DeviceId, Wear, ReadErrorsUncorrected, Temperature, PowerOnHours
Подробный SMART в Windows показывают сторонние программы: smartmontools для Windows (тот же smartctl) или CrystalDiskInfo.
Как собран RAID на Windows-сервере, зависит от установки. Если это «Дисковые пространства», состояние покажет Get-VirtualDisk: у целого массива HealthStatus — Healthy. Если это зеркальный том, откройте «Управление дисками» (diskmgmt.msc): у исправного тома статус «Исправен» (Healthy в английской Windows). Пересобрать зеркало после замены диска можно там же. Если не уверены, как устроен ваш массив, спросите в тикете до замены.
Как заказать замену диска
Сначала резервная копия. Пока массив работает на одном диске, запасной копии данных на сервере нет: если откажет и он, данные пропадут. Пересборка после замены нагружает оставшийся диск, поэтому копию делайте до неё. По оферте резервное копирование — обязанность клиента, и за потерю данных мы не отвечаем, кроме случаев из п. 7.2: так сказано в п. 5.5.
Скопируйте важные данные с сервера
Файлы сайтов, базы данных, настройки — на другой сервер или свой компьютер. Проверьте, что копия открывается.
Узнайте серийный номер неисправного диска
Команда печатает строку
Serial Number. Для SATA и SAS укажите диск вроде/dev/sdb.sudo smartctl -i /dev/nvme1 | grep -i serialСохраните вывод SMART в файл
Команда записывает полный отчёт о диске в файл в текущей папке. Скачайте файл на компьютер (например, через WinSCP или
scp) или скопируйте вывод из терминала прямо в тикет.sudo smartctl -a /dev/nvme1 > smart-nvme1.txtВыведите неисправный диск из массива
Так массив не будет обращаться к диску в момент замены. Команда помечает раздел сбойным и убирает его из массива. Повторите её для каждого массива, где есть разделы этого диска: какие это массивы, видно в
cat /proc/mdstat. Если диск уже пропал из системы, шаг пропустите.Выводите только разделы неисправного диска. Если по ошибке вывести исправный, массив будет работать только на сбойном диске, а техник заменит именно его, и рабочего массива не останется. Перед командой сверьте имя диска (в примере
nvme1n1) с серийным номером из предыдущего шага.sudo mdadm /dev/md0 --fail /dev/nvme1n1p1 --remove /dev/nvme1n1p1sudo mdadm /dev/md1 --fail /dev/nvme1n1p2 --remove /dev/nvme1n1p2sudo mdadm /dev/md2 --fail /dev/nvme1n1p3 --remove /dev/nvme1n1p3Напишите в тикет
Скопируйте шаблон в тикет и приложите файл с выводом SMART. Серийный номер исправного диска страхует от ошибки: техник будет знать, какой диск трогать нельзя.
Сервер: #1234567 Заменить диск: серийный номер S6EXAMPLE00002 (сейчас /dev/nvme1n1) Исправный диск, его не трогать: S6EXAMPLE00001 Причина: Media and Data Integrity Errors растут, диск выпал из RAID Вывод smartctl -a: во вложении Резервная копия сделана. Сервер можно выключить: в любое времяДождитесь сообщения о замене
На время замены сервер, как правило, выключают, и он недоступен, пока техник работает. Сколько это займёт, зависит от дата-центра. Если простой удобнее в определённое время, напишите об этом в тикете, и мы передадим это дата-центру. Когда диск заменят, мы напишем в тот же тикет.
Не загрузился сервер после замены — запросите консоль: на Hetzner её подключаем мы (KVM-консоль Hetzner), на OVH она есть в вашей панели (Rescue и IPMI на OVH).
Как пересобрать RAID после замены диска
Новый диск обычно приходит без разметки, и в массив он сам не встанет. В примере исправный диск nvme0n1, новый nvme1n1. У дисков SATA имена будут вроде sda и sdb, а разделы — sdb1 вместо nvme1n1p1.
Не перепутайте диски. Разметку копируют с исправного диска на новый. Если поменять их местами, пустая разметка нового диска запишется поверх разметки исправного, и данные станут недоступны. Перед копированием сверьте серийные номера и убедитесь, что у нового диска нет разделов. Имена дисков после замены могли поменяться: подставляйте в команды свои, а не из примера.
Найдите новый диск
У нового диска будет незнакомый серийный номер и не будет разделов под ним. Исправный диск узнаете по серийному номеру, который записали до замены, и по разделам, под которыми видны массивы
mdс типомraid1.lsblk -o NAME,SIZE,TYPE,SERIALУзнайте тип разметки исправного диска
Команда ответит
gptилиdos. От этого зависит, какой командой копировать разметку.lsblk -d -o NAME,PTTYPE /dev/nvme0n1Сохраните разметку исправного диска в файл
Это страховка: если что-то пойдёт не так, разметку можно будет вернуть из файла. Первая команда для GPT, вторая для MBR (
dos). Файл появится в текущей папке. Если командыsgdiskнет, поставьте пакетgdisk.sudo sgdisk --backup=nvme0n1-table.bak /dev/nvme0n1sudo sfdisk -d /dev/nvme0n1 > nvme0n1-table.txtСкопируйте разметку с исправного диска на новый
GPT. В
sgdiskпорядок дисков обратный привычному: сразу после-Rпишут новый диск (куда копировать), последним — исправный (откуда). Вторая команда выдаёт новому диску собственные идентификаторы, чтобы они не совпадали с исправным.sudo sgdisk -R /dev/nvme1n1 /dev/nvme0n1sudo sgdisk -G /dev/nvme1n1MBR (dos). Здесь порядок привычный: слева исправный диск, с которого читают разметку, справа новый, на который её записывают.
sudo sfdisk -d /dev/nvme0n1 | sudo sfdisk /dev/nvme1n1Проверьте результат командой
lsblk: у обоих дисков должны быть одинаковые разделы.Добавьте разделы нового диска в массивы
Номер раздела совпадает с тем, что у исправного диска в том же массиве: если в
md0стоитnvme0n1p1, добавляйтеnvme1n1p1. Пройдите все массивы изcat /proc/mdstat: у вас их может быть больше или меньше трёх.sudo mdadm /dev/md0 --add /dev/nvme1n1p1sudo mdadm /dev/md1 --add /dev/nvme1n1p2sudo mdadm /dev/md2 --add /dev/nvme1n1p3Дождитесь синхронизации
Массив копирует данные на новый диск в фоне, сервер всё это время работает, только медленнее обычного. Команда обновляет состояние каждые 10 секунд, выход —
Ctrl+C. Многотерабайтные HDD синхронизируются много часов.watch -n 10 cat /proc/mdstatmd2 : active raid1 nvme1n1p3[2] nvme0n1p3[0] 966188032 blocks super 1.2 [2/1] [U_] [==>..................] recovery = 12.6% (121780224/966188032) finish=68.2min speed=206342K/secУстановите загрузчик на новый диск
Иначе сервер не загрузится с нового диска, если позже откажет старый. Сначала узнайте режим загрузки:
[ -d /sys/firmware/efi ] && echo UEFI || echo BIOSЕсли ответ
BIOS, поставьте загрузчик на новый диск. Команда для Ubuntu и Debian, на AlmaLinux и Rocky Linux она называетсяgrub2-install:sudo grub-install /dev/nvme1n1Если ответ
UEFI, загрузчик лежит на отдельном разделе EFI, и как повторить его на новом диске, зависит от того, как ставили систему. Командаfindmnt /boot/efiпокажет, где он: если в ответе массив/dev/md…, раздел уже синхронизируется вместе с остальными. Если в ответе раздел одного диска, напишите в тикет до перезагрузки сервера и приложите выводfindmnt /boot/efiиlsblk.
Когда синхронизация закончилась и загрузчик стоит на обоих дисках, массив снова переживёт отказ одного из них.
Как проверить, что всё получилось
В cat /proc/mdstat у каждого массива снова [2/2] [UU] и нет строки recovery, а sudo mdadm --detail /dev/md2 показывает State : clean. Проверьте SMART нового диска той же командой smartctl -a: ошибок у него быть не должно.
Если не получилось
| Что видите | Почему | Что делать |
|---|---|---|
mdadm: /dev/nvme1n1p3 not large enough to join array | Раздел на новом диске меньше, чем в массиве: разметка скопировалась не так или новый диск меньше старого | Сравните разделы в lsblk. Если меньше сам диск, напишите в тикет |
mdadm: Cannot open /dev/nvme1n1p1: Device or resource busy | Раздел уже занят: часто система сама собрала из старой разметки нового диска лишний массив вроде md127 | Посмотрите cat /proc/mdstat. Если в лишнем массиве только разделы нового диска, остановите его командой sudo mdadm --stop /dev/md127 и повторите --add |
Новый диск не виден в lsblk | Диск не определился или заменили другой диск | Сверьте серийные номера с теми, что записали до замены, и напишите в тикет |
| Сервер не загружается после замены | Загрузчик был только на снятом диске или BIOS ищет загрузку на новом | В консоли выберите загрузку с исправного диска или загрузитесь в Rescue и поставьте загрузчик: Rescue System Hetzner, Rescue на OVH |
Если массив не собирается, остановитесь и напишите в тикет, приложив вывод cat /proc/mdstat и lsblk: лишние попытки на массиве с одним диском опаснее паузы.
Частые вопросы
SMART пишет PASSED. Значит, диск в порядке?
Media and Data Integrity Errors и Percentage Used.У NVMe Percentage Used 93%. Диск скоро откажет?
Можно ли спасти данные с RAID 0 после отказа диска?
Можно ли заменить диск без выключения сервера?
Инструкция помогла?
Спасибо! Так мы понимаем, какие инструкции работают.
Что не так?
Напишите в поддержку, на каком шаге остановились, и приложите ссылку на эту инструкцию: так не придётся объяснять с начала.