Hetzner Robot

Proxmox на Hetzner: установка и сеть для дополнительных IP

Proxmox VE 9 ставится на сервер Hetzner поверх Debian 13: сначала installimage с RAID 1 и LVM, затем пакеты из официального репозитория Proxmox. Сеть для виртуальных машин строится через маршрутизацию на самом сервере, потому что трафик с чужих MAC-адресов Hetzner считает нарушением.

  • Время: 40 минут
  • Сложность: Для опытных

Коротко

  • Порядок: Rescue → installimage с Debian 13, RAID 1 и LVM → репозиторий Proxmox → ядро Proxmox → пакет proxmox-ve. Веб-интерфейс откроется по адресу https://IP-сервера:8006.
  • Не подключайте ВМ мостом к сетевой карте сервера: у каждой ВМ свой MAC, а трафик с чужих MAC Hetzner считает нарушением и может заблокировать сервер.
  • Безопасная схема — routed: мост vmbr0 без физического порта, маршрут на каждый дополнительный IP, шлюз внутри ВМ — основной IP сервера.
  • Установка стирает диски. Дополнительные IP и подсети заказываются через нас.
Содержание
  1. Как устроена установка
  2. Установите Debian 13 с RAID 1 и LVM
  3. Подготовьте Debian: пароль, RAID и имя сервера
  4. Поставьте Proxmox VE 9 из официального репозитория
  5. Почему ВМ нельзя подключать мостом к сетевой карте
  6. Настройте routed-сеть для дополнительных IP
  7. Создайте ВМ и задайте IP внутри неё
  8. Если у вас подсеть, а не отдельные IP
  9. Если ВМ больше, чем IP: выход в интернет через NAT
  10. Если что-то не работает
  11. Частые вопросы

Что понадобится

Как устроена установка

Официального образа Proxmox у Hetzner нет. В меню installimage, в пункте Other, есть образы Proxmox VE 7, 8 и 9, но весь пункт помечен !!NO SUPPORT!!: Hetzner эти образы не поддерживает. Поэтому в этой статье installimage сначала ставит чистый Debian 13: он сам настраивает диски, загрузчик и сеть сервера. Затем поверх Debian ставится Proxmox VE 9 из официального репозитория. Этот способ описан в документации Proxmox и в руководстве Hetzner Community, и для него не нужна KVM-консоль.

Окно PuTTY: подменю Other images в installimage со строками Proxmox VE 7 (Debian bullseye), Proxmox VE 8 (Debian bookworm) и Proxmox VE 9 (Debian trixie); три строки Proxmox выделены рамкой.
Образы Proxmox в пункте Other: Hetzner их не поддерживает.

В примере ниже сервер с двумя дисками NVMe, основной IP 203.0.113.10 в сети 203.0.113.0/26 и три дополнительных IP: 203.0.113.20, 203.0.113.21 и 203.0.113.22. Подставляйте свои адреса. Команды выполняются по SSH от root, блоки копируйте целиком.

Установите Debian 13 с RAID 1 и LVM

installimage полностью стирает оба диска. Если на сервере есть нужные данные, скопируйте их до начала.

  1. Загрузите сервер в Rescue и подключитесь по SSH

    В Robot откройте Serverваш серверRescue, выберите Linux, активируйте Rescue и сохраните пароль. Затем перезагрузите сервер во вкладке Reset аппаратным сбросом (hardware reset). Через 2–3 минуты подключитесь:

    ssh root@203.0.113.10

    Подробнее об этих шагах — в статье как переустановить Linux на сервере Hetzner.

  2. Запустите installimage и выберите Debian 13

    installimage

    В меню выберите Debian, затем образ с trixie в названии: это Debian 13. Откроется редактор с настройками установки.

  3. Проверьте диски, RAID и имя сервера

    Эти строки должны выглядеть так, имя в HOSTNAME поменяйте на своё:

    DRIVE1 /dev/nvme0n1
    DRIVE2 /dev/nvme1n1
    SWRAID 1
    SWRAIDLEVEL 1
    HOSTNAME pve1.example.com

    Имя сервера пишите обязательно в формате имя.домен: Proxmox требует именно такое имя.

  4. Замените разделы на LVM

    Найдите строки, которые начинаются с PART (без # в начале), и замените их этими четырьмя. Единственное исключение — строка PART /boot/efi esp 256M: если она есть, оставьте её первой, а четыре строки поставьте после неё.

    PART /boot ext3 1024M
    PART swap swap 8G
    PART lvm vg0 all
    LV vg0 root / ext4 100G

    Система займёт 100 ГБ в группе томов vg0, а свободное место в ней позже отдадим под диски виртуальных машин. Остальные строки файла не меняйте. Что значит каждая строка, разобрано в статье installimage: RAID и разметка.

  5. Сохраните настройки и дождитесь установки

    F2 сохраняет файл, F10 закрывает редактор (на Mac — Fn+F2 и Fn+F10 или Esc, затем 2 и Esc, затем 0). Подтвердите удаление данных и дождитесь надписи INSTALLATION COMPLETE. Затем перезагрузите сервер:

    reboot

Через 2–3 минуты сервер загрузится в Debian 13. Дальше нужно подготовить его к установке Proxmox.

Подготовьте Debian: пароль, RAID и имя сервера

  1. Войдите в новую систему

    ssh root@203.0.113.10

    Пароль тот же, что был у Rescue. Если SSH пишет REMOTE HOST IDENTIFICATION HAS CHANGED, выполните на своём компьютере ssh-keygen -R 203.0.113.10 и подключитесь снова: у новой системы свой ключ.

  2. Задайте пароль root

    passwd

    С этим паролем вы будете входить в веб-интерфейс Proxmox. Он открыт из интернета, поэтому пароль нужен длинный и нигде больше не используемый.

  3. Проверьте RAID и группу томов

    cat /proc/mdstat
    vgs

    В mdstat должны быть массивы raid1 из nvme0n1 и nvme1n1. Строка resync означает фоновую синхронизацию, ждать её окончания не нужно. В ответе vgs должна быть группа vg0, а в столбце VFree — почти весь объём диска за вычетом 100 ГБ под систему.

  4. Проверьте, что имя сервера указывает на его IP

    hostname --ip-address

    В ответе должен быть 203.0.113.10, рядом может стоять IPv6-адрес. Если вместо этого 127.0.1.1 или ошибка, служба Proxmox pve-cluster не запустится. Исправьте файл /etc/hosts (имя подставьте своё) и проверьте ещё раз:

    sed -i '/^127\.0\.1\.1/d' /etc/hosts
    echo "203.0.113.10 pve1.example.com pve1" >> /etc/hosts

    Первая команда удаляет строку с 127.0.1.1, вторая добавляет строку, где имя сервера указывает на его основной IP.

Когда hostname --ip-address показывает основной IP, Debian готов к установке Proxmox.

Поставьте Proxmox VE 9 из официального репозитория

  1. Подключите репозиторий Proxmox

    apt update && apt install -y wget
    wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg -O /usr/share/keyrings/proxmox-archive-keyring.gpg
    cat > /etc/apt/sources.list.d/pve-install-repo.sources <<'EOF'
    Types: deb
    URIs: http://download.proxmox.com/debian/pve
    Suites: trixie
    Components: pve-no-subscription
    Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
    EOF

    Первая строка ставит wget, вторая скачивает ключ, которым подписаны пакеты Proxmox. Блок cat … EOF создаёт файл бесплатного репозитория pve-no-subscription для Debian 13. Копируйте его целиком, от cat до EOF включительно.

  2. Обновите систему и поставьте ядро Proxmox

    apt update && apt full-upgrade -y
    apt install -y proxmox-default-kernel
    reboot

    Если во время установки появится окно выбора дисков для GRUB, отметьте пробелом оба диска /dev/nvme0n1 и /dev/nvme1n1 (диски целиком, не разделы) и нажмите Enter.

  3. Установите пакеты Proxmox VE

    Через 2–3 минуты подключитесь снова и проверьте ядро:

    uname -r

    Название ядра должно заканчиваться на -pve. Теперь поставьте сам Proxmox:

    apt install -y proxmox-ve postfix open-iscsi chrony

    В окне настройки Postfix выберите Local only, имя оставьте по умолчанию.

  4. Удалите ядро Debian

    apt remove -y linux-image-amd64 'linux-image-6.12*' os-prober
    update-grub
    reboot

    Стандартное ядро Debian больше не нужно. os-prober ищет системы на всех разделах и может добавить в меню загрузки сервера диски виртуальных машин, поэтому его тоже удаляем. update-grub пересобирает меню загрузки.

  5. Откройте веб-интерфейс

    Откройте в браузере https://203.0.113.10:8006: именно https и порт 8006. Браузер предупредит о сертификате, это ожидаемо: Proxmox создал сертификат сам. Откройте страницу через дополнительные параметры предупреждения.

    Пользователь — root, в поле Realm выберите Linux PAM standard authentication, пароль — тот, что вы задали командой passwd. Окно No valid subscription закройте кнопкой OK: на работу оно не влияет.

    Окно входа Proxmox VE: пустые поля User name и Password, список Realm со значением Linux PAM standard authentication (выделен рамкой), Language English и кнопка Login.
    Вход в Proxmox: пользователь root, Realm — Linux PAM standard authentication, пароль из команды passwd.
  6. Создайте хранилище для дисков ВМ

    lvcreate -l 95%FREE --thinpool data vg0
    pvesm add lvmthin local-lvm --vgname vg0 --thinpool data --content images,rootdir
    pvesm status

    Первая команда создаёт в свободном месте vg0 тонкий пул data, вторая подключает его к Proxmox как хранилище local-lvm. В ответе pvesm status должны быть local (для ISO-образов и резервных копий) и local-lvm (для дисков ВМ), оба в состоянии active.

Proxmox работает. Осталось настроить сеть, через которую виртуальные машины выйдут в интернет.

Почему ВМ нельзя подключать мостом к сетевой карте

Hetzner привязывает IP-адреса к MAC-адресу сервера. В обычной схеме Proxmox (bridged) ВМ подключены мостом прямо к сетевой карте, и у каждой свой MAC. Трафик с таких MAC Hetzner считает нарушением: присылает жалобу и может заблокировать сервер. Жалоба придёт нам, и мы перешлём её вам (что делать с жалобой).

Поэтому сеть строим по маршрутизируемой схеме (routed). ВМ подключаются к внутреннему мосту vmbr0, который не связан с сетевой картой, а сервер сам передаёт их трафик наружу со своего MAC. Виртуальные MAC в Robot для этого заказывать не нужно.

Когда подходит bridged-схема с виртуальными MAC

Одиночному дополнительному IP можно выдать в Robot виртуальный MAC, указать его в настройках сетевой карты ВМ и подключить ВМ мостом к сетевой карте сервера. Так можно сделать не больше чем для 6 одиночных IP на сервер. Подсети и failover IP в bridged-схеме не работают, только в routed. Если в вашем входе Robot нет кнопки для виртуального MAC, напишите нам.

Настройте routed-сеть для дополнительных IP

Основную сетевую карту в файле /etc/network/interfaces не трогайте: её уже настроил установщик Hetzner. Мы только допишем в конец файла новый мост.

Ошибка в настройке сети разорвёт SSH-доступ к серверу. На первом шаге вы сохраните копию файла, а если доступ пропадёт — вернёте её из Rescue, как показано в конце статьи.

  1. Сохраните копию настроек и добавьте мост vmbr0

    Скопируйте и вставьте весь блок целиком, от строки cp до строки EOF. Строк post-up ip route add должно быть столько же, сколько у вас дополнительных IP:

    cp /etc/network/interfaces /root/interfaces.backup
    cat >> /etc/network/interfaces <<'EOF'
    
    auto vmbr0
    iface vmbr0 inet static
        address 203.0.113.10/32
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up echo 1 > /proc/sys/net/ipv4/conf/vmbr0/proxy_arp
        post-up ip route add 203.0.113.20/32 dev vmbr0
        post-up ip route add 203.0.113.21/32 dev vmbr0
        post-up ip route add 203.0.113.22/32 dev vmbr0
    EOF
    СтрокаЧто делает
    auto vmbr0Поднимает мост при загрузке сервера.
    iface vmbr0 inet staticМост со статическим адресом IPv4.
    address 203.0.113.10/32Основной IP сервера на мосту: для ВМ он будет шлюзом. Маска /32, чтобы не появился второй маршрут в сеть сервера.
    bridge-ports noneМост не подключён к сетевой карте, поэтому MAC-адреса ВМ не попадают в сеть Hetzner.
    bridge-stp off, bridge-fd 0Выключают протокол STP и задержку при старте моста: в мосту без портов они не нужны.
    post-up echo 1 > …/ip_forwardВключает пересылку пакетов между ВМ и внешней сетью. На установке Hetzner она по умолчанию выключена.
    post-up echo 1 > …/proxy_arpСервер отвечает на ARP-запросы ВМ за адреса своей сети, и ВМ видят соседние адреса через него.
    post-up ip route add 203.0.113.20/32 dev vmbr0Маршрут к дополнительному IP через мост. По строке на каждый адрес.
  2. Примените настройки

    ifreload -a

    Если команда выведет предупреждение про route add или File exists для основной сетевой карты, ничего страшного: так бывает, когда маршрут уже есть. Если ответ command not found, примените настройки перезагрузкой: reboot.

  3. Проверьте маршруты и пересылку пакетов

    ip route | grep vmbr0
    cat /proc/sys/net/ipv4/ip_forward

    Первая команда должна показать три маршрута: на 203.0.113.20, 203.0.113.21 и 203.0.113.22. Пока ни одна ВМ не запущена, рядом может стоять слово linkdown, это нормально. Вторая команда должна вывести 1. Если чего-то нет, перезагрузите сервер и проверьте ещё раз.

Мост готов, теперь к нему можно подключать виртуальные машины.

Создайте ВМ и задайте IP внутри неё

  1. Загрузите ISO-образ системы

    В веб-интерфейсе слева выберите хранилище local, затем ISO Images. Кнопка Upload загружает образ с компьютера, Download from URL — по прямой ссылке на ISO. Второй способ быстрее: файл качает сам сервер.

  2. Создайте ВМ кнопкой Create VM

    Кнопка Create VM — справа вверху. В мастере укажите:

    • вкладка Disks: Storage local-lvm;
    • вкладка CPU: Type host;
    • вкладка Network: Bridge vmbr0, Model VirtIO.

    Для Windows на вкладке Network выберите модель Intel E1000, а на вкладке Disks — шину SATA. Тогда установщик Windows увидит диск и сеть без дополнительных драйверов.

    Мастер Create VM в веб-интерфейсе Proxmox VE 9, вкладка Network. Поле Bridge пустое и обведено красным: на этом сервере ещё нет моста vmbr0. В поле Model выбрано VirtIO (paravirtualized). Рамками выделены поля Bridge и Model.
    В Bridge выберите vmbr0. Если поле пустое и обведено красным, как здесь, моста ещё нет: сначала добавьте его по шагам выше. Для Windows вместо VirtIO выберите Intel E1000.
  3. Задайте сеть вручную при установке системы в ВМ

    ПолеЗначение в примере
    IP-адрес203.0.113.20; для второй ВМ 203.0.113.21, для третьей 203.0.113.22
    Маска255.255.255.192, в установщике Ubuntu поле Subnet: 203.0.113.0/26
    Шлюз203.0.113.10, основной IP сервера
    DNSадреса из строк nameserver в файле /etc/resolv.conf на сервере: grep nameserver /etc/resolv.conf

    Маску сети берите из данных IP-адресов, которые мы присылаем. Шлюз в ВМ — основной IP сервера, а не шлюз из этих данных (в примере 203.0.113.1): тот работает только для самого сервера. Каждый IP используйте только в одной ВМ.

    Если дополнительный IP не из сети основного

    В примере сеть основного IP — 203.0.113.0/26, то есть адреса от 203.0.113.1 до 203.0.113.62. Если дополнительный IP в неё не входит, шлюз 203.0.113.10 окажется вне сети ВМ, и установщик может его не принять. Тогда задайте в Linux-ВМ адрес с маской /32 и укажите, что шлюз доступен напрямую. Имя сетевой карты в ВМ покажет команда ip link, в Proxmox это обычно ens18.

    Debian, файл /etc/network/interfaces внутри ВМ:

    auto ens18
    iface ens18 inet static
        address 192.0.2.25
        netmask 255.255.255.255
        pointopoint 203.0.113.10
        gateway 203.0.113.10

    Ubuntu, файл в /etc/netplan/ внутри ВМ:

    network:
      version: 2
      ethernets:
        ens18:
          addresses: [192.0.2.25/32]
          routes:
            - to: default
              via: 203.0.113.10
              on-link: true

    На сервере для такого адреса нужна такая же строка маршрута в vmbr0: post-up ip route add 192.0.2.25/32 dev vmbr0.

  4. Проверьте интернет внутри ВМ

    ping -c 3 one.one.one.one

    Если ответы идут, сеть работает. Если пишет, что имя не найдено, проверьте DNS. Если после изменения сетевых настроек ВМ не выходит в интернет, выключите её полностью кнопкой Stop и снова запустите кнопкой Start.

Так же настраиваются остальные ВМ: каждая получает свой дополнительный IP и тот же шлюз.

Если у вас подсеть, а не отдельные IP

Подсеть Hetzner маршрутизирует на основной IP сервера, отдельный шлюз ей не нужен. Для неё удобнее отдельный мост vmbr1: один адрес подсети забирает сервер, и он становится шлюзом для ВМ. Пример для подсети 198.51.100.0/29:

cat >> /etc/network/interfaces <<'EOF'

auto vmbr1
iface vmbr1 inet static
    address 198.51.100.1/29
    bridge-ports none
    bridge-stp off
    bridge-fd 0
    post-up echo 1 > /proc/sys/net/ipv4/ip_forward
EOF
ifreload -a

ВМ подключайте к мосту vmbr1 и задавайте в них IP от 198.51.100.2 до 198.51.100.6, маску 255.255.255.248 и шлюз 198.51.100.1. Из восьми адресов /29 под ВМ остаются пять: первый — адрес сети, последний — широковещательный, ещё один занял сервер.

Если ВМ больше, чем IP: выход в интернет через NAT

ВМ без собственного IP могут выходить в интернет через основной IP сервера. Для них нужен ещё один мост с внутренней сетью. Сначала узнайте имя сетевой карты сервера: оно стоит после слова dev в ответе команды

ip route show default

В примере это enp0s31f6, в блоке ниже замените его на своё:

cat >> /etc/network/interfaces <<'EOF'

auto vmbr2
iface vmbr2 inet static
    address 10.10.10.1/24
    bridge-ports none
    bridge-stp off
    bridge-fd 0
    post-up echo 1 > /proc/sys/net/ipv4/ip_forward
    post-up iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o enp0s31f6 -j MASQUERADE
    post-down iptables -t nat -D POSTROUTING -s 10.10.10.0/24 -o enp0s31f6 -j MASQUERADE
EOF
ifreload -a

Строки с iptables подменяют внутренний адрес ВМ основным IP сервера, когда трафик уходит наружу. В ВМ на мосту vmbr2 задайте IP от 10.10.10.2 до 10.10.10.254, маску 255.255.255.0, шлюз 10.10.10.1 и DNS из /etc/resolv.conf сервера. Снаружи такие ВМ недоступны, пока вы не пробросите к ним порты.

Если что-то не работает

Что видитеЧто сделать
Сервер не отвечает по SSH после установки или перезагрузкиПодождите 5 минут. Если доступа нет больше 10 минут, включите Rescue и перезагрузите сервер, после этого установку можно повторить. Не помогает — напишите нам: попросим KVM-консоль, чтобы увидеть экран сервера (о KVM-консоли).
installimage выдаёт ошибкуПроверьте, что строки PART и LV написаны точно как в примере, без лишних символов, и что указано SWRAID 1. Ошибка повторяется — сохраните debug.txt и пришлите нам вместе с текстом ошибки.
Веб-интерфейс не открываетсяАдрес должен быть https://203.0.113.10:8006. Проверьте службы командой systemctl status pveproxy pve-cluster: обе должны быть active (running). Если не запускается pve-cluster, почти всегда виновато имя сервера: см. проверку имени. Если в Robot для сервера включён файрвол, разрешите в нём входящий TCP-порт 8006 или временно выключите файрвол.
Веб-интерфейс не принимает парольПользователь root, Realm — Linux PAM standard authentication, а не Proxmox VE authentication server. Пароль можно задать заново командой passwd.
apt update выдаёт ошибку 401 для enterprise.proxmox.comЭто платный репозиторий, для работы он не нужен. Отключите его: mv /etc/apt/sources.list.d/pve-enterprise.sources /etc/apt/sources.list.d/ceph.sources /root/ 2>/dev/null; apt update
При запуске ВМ: KVM virtualisation configured, but not availableВыполните grep -cE 'vmx|svm' /proc/cpuinfo. Если ответ 0, в BIOS выключена аппаратная виртуализация. Напишите нам: попросим Hetzner её включить.
В мастере Create VM поле Bridge пустое и обведено краснымНа сервере ещё нет моста vmbr0. Добавьте его по шагам настройки routed-сети, примените настройки командой ifreload -a и откройте мастер заново.
У ВМ нет интернетаПроверьте по порядку: на сервере ip route | grep vmbr0 показывает маршруты на все ваши IP, а cat /proc/sys/net/ipv4/ip_forward выводит 1; в настройках ВМ (Hardware, Network Device) указан bridge=vmbr0; внутри ВМ шлюз — основной IP сервера, маска и IP верные; после изменения сети ВМ полностью выключали кнопкой Stop и включали снова.
Пришла жалоба Hetzner о чужих MAC-адресахКакая-то ВМ подключена мостом прямо к сетевой карте сервера. Проверьте, что у мостов в /etc/network/interfaces стоит bridge-ports none и все ВМ подключены только к ним.

Если после настройки сети пропал доступ к серверу, включите Rescue и перезагрузите сервер, как в начале статьи. В Rescue верните сохранённую копию настроек и перезагрузитесь:

mdadm --assemble --scan
vgchange -ay vg0
mount /dev/vg0/root /mnt
cp /mnt/root/interfaces.backup /mnt/etc/network/interfaces
umount /mnt
reboot

Команды собирают массивы RAID, включают группу томов, монтируют корень системы и возвращают файл сети из копии. Если застряли на каком-то шаге, напишите нам номер шага и пришлите вывод последней команды текстом.

Частые вопросы

Можно ли поставить Proxmox с ISO через KVM-консоль?
Можно, но Hetzner не гарантирует, что установка с ISO пройдёт, а консоль бесплатна только 3 часа. Установка поверх Debian консоли не требует. С ISO через KVM-консоль ставят и ESXi, и другие системы, которых нет среди образов Hetzner: о KVM-консоли.
Нужно ли заказывать виртуальные MAC-адреса?
Для routed-схемы из этой статьи нет: весь трафик ВМ уходит с MAC сервера. Виртуальный MAC нужен только в bridged-схеме, и только для одиночных IP.
Proxmox показывает окно No valid subscription. Подписка нужна?
Нет. Без подписки Proxmox работает полностью, обновления приходят из бесплатного репозитория pve-no-subscription, который мы подключили. Подписка даёт доступ к платному репозиторию enterprise и поддержке Proxmox.
Как дать виртуальным машинам IPv6?
У сервера Hetzner есть своя подсеть IPv6 /64, но схема в этой статье настраивает только IPv4. Если ВМ нужен IPv6, напишите нам в тикет: пришлём настройку под ваш сервер.

Инструкция помогла?

Есть вопросы?