Подготовка сервера Ubuntu

Для того чтобы подготовить сервер на Ubuntu для развертывания FindFace CIBR, следуйте приведенным ниже инструкциям, соблюдая последовательность.

Примечание

Для других платформ обратитесь к следующим ресурсам:

• Драйверы NVIDIA

• Docker Engine

• Docker Compose

• NVIDIA Container Toolkit

В этом разделе:

GPU: Установка драйверов NVIDIA

Первым шагом подготовки сервера является установка драйвера NVIDIA. Данный шаг актуален только для конфигурации GPU. Если ваша конфигурация использует CPU-ускорение, можно переходить к установке Docker.

Для работы FindFace CIBR с ускорением на GPU потребуется драйвер NVIDIA 530 или более поздней версии. Добавьте репозиторий NVIDIA и установите из него подходящий драйвер.

Предупреждение

Не рекомендуется использовать в качестве альтернативы установщик .run c сайта NVIDIA Driver Downloads, так как драйверы, установленные посредством запуска .run файла, могут конфликтовать с драйверами, установленными посредством пакетов.

Для установки драйвера 530 из репозитория выполните следующие действия:

1. Установите ключ подписи репозитория:

   arch=$(uname -m); version=$(. /etc/os-release; echo $ID$VERSION_ID | sed -r 's/\.//g'); sudo bash -c \
   "sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$ID$version/$arch/3bf863cc.pub \
   && apt update"
   

2. Установите aptitude и выполните следующую команду:

   sudo aptitude install nvidia-driver-530
   

Установка продуктов Docker

Продукты Docker должны быть установлены как на CPU-, так и на GPU-серверах. Выполните следующие действия:

1. Обновите индекс пакетов apt и установите пакеты, чтобы разрешить apt использовать репозиторий через HTTPS.

   sudo apt-get update
   
   sudo apt-get install \
     ca-certificates \
     curl \
     gnupg \
     lsb-release
   

   Совет

   При выполнении группы команд sudo apt-get install \ возможны следующие ошибки:

   E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)
   E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it?
   

   Существуют два способа разрешить их:

   1. Принудительно завершите все процессы apt-get, запущенные в данный момент в системе.

      sudo killall apt apt-get
      

   2. Если предыдущая команда не помогла, выполните приведенный ниже набор команд. Если некоторые из подлежащих удалению каталогов не существуют, просто перейдите к следующей команде.

      sudo rm /var/lib/apt/lists/lock
      sudo rm /var/cache/apt/archives/lock
      sudo rm /var/lib/dpkg/lock
      sudo rm /var/lib/dpkg/lock-frontend
      sudo dpkg --configure -a
      

2. Добавьте на сервер официальный ключ GPG для Docker (ключ GNU Privacy Guard).

   sudo mkdir -m 0755 -p /etc/apt/keyrings
   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
   

3. Настройте репозиторий Docker.

   echo \
     "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
     $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
   

4. Повторно обновите индекс пакетов apt.

   sudo apt-get update
   

   Совет

   Если вы получили ошибку GPG при выполнении данной команды, попробуйте предоставить разрешение на чтение для файла открытого ключа Docker перед обновлением индекса пакетов.

   sudo chmod a+r /etc/apt/keyrings/docker.gpg
   sudo apt-get update
   

5. Установите 24.* версии продуктов Docker.

   sudo apt-get install docker-ce=5:24* docker-ce-cli=5:24* containerd.io docker-buildx-plugin
   

6. Проверьте успешность установки Docker. Следующая команда загружает тестовый образ и запускает его в контейнере. Когда контейнер запускается, он печатает подтверждающее сообщение и завершает работу.

   sudo docker run hello-world
   
   Unable to find image 'hello-world:latest' locally
   latest: Pulling from library/hello-world
   2db29710123e: Pull complete
   Digest: sha256:aa0cc8055b82dc2509bed2e19b275c8f463506616377219d9642221ab53cf9fe
   Status: Downloaded newer image for hello-world:latest
   
   Hello from Docker!
   This message shows that your installation appears to be working correctly.
   
   To generate this message, Docker took the following steps:
   1. The Docker client contacted the Docker daemon.
   2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
      (amd64)
   3. The Docker daemon created a new container from that image which runs the
      executable that produces the output you are currently reading.
   4. The Docker daemon streamed that output to the Docker client, which sent it
      to your terminal.
   
   To try something more ambitious, you can run an Ubuntu container with:
   $ docker run -it ubuntu bash
   
   Share images, automate workflows, and more with a free Docker ID:
   https://hub.docker.com/
   
   For more examples and ideas, visit:
   https://docs.docker.com/get-started/
   

7. Установите docker-compose.

   sudo curl -SL https://github.com/docker/compose/releases/download/v2.15.1/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
   sudo chmod +x /usr/local/bin/docker-compose
   sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
   

8. Выполните процедуры после установки Docker Engine, чтобы упростить свою будущую работу с контейнерами Docker и FindFace CIBR. Как только вы будете в состоянии управлять Docker как пользователь без полномочий root, вам больше не понадобится применять sudo в командах, связанных с Docker.

   sudo groupadd docker
   sudo usermod -aG docker $USER
   newgrp docker
   

9. Настройте сеть Docker.

   sudo su
   BIP=10.$((RANDOM % 256)).$((RANDOM % 256)).1
   cat > /etc/docker/daemon.json <<EOF
   {
       "bip": "$BIP/24",
       "fixed-cidr": "$BIP/24"
   }
   EOF
   

GPU: Установка NVIDIA Container Runtime

Для развертывания контейнеризованного FindFace CIBR с ускорением на GPU, потребуется установить NVIDIA Container Runtime. Мы рекомендуем установить NVIDIA Container Toolkit, который включает данную среду выполнения. Выполните следующие действия:

1. Укажите репозиторий и установите из него NVIDIA Container Toolkit, выполнив следующие команды.

   distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
         && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
         && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
               sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
               sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   sudo apt-get install -y nvidia-container-toolkit
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker
   

2. Настройте сеть Docker. Выполните настройку использования среды NVIDIA Container Runtime, установленной вместе с NVIDIA Container Toolkit.

   sudo su
   BIP=10.$((RANDOM % 256)).$((RANDOM % 256))
   cat > /etc/docker/daemon.json <<EOF
   {
      "default-address-pools":
           [
                   {"base":"$BIP.0/16","size":24}
           ],
       "bip": "$BIP.1/24",
       "fixed-cidr": "$BIP.0/24",
       "runtimes": {
            "nvidia": {
                "path": "nvidia-container-runtime",
                "runtimeArgs": []
            }
       },
       "default-runtime": "nvidia"
   }
   EOF
   

3. Перезапустите Docker.

   systemctl restart docker
   

Теперь все готово для установки FindFace CIBR. См. следующие разделы:

• Автоматическое односерверное развертывание FindFace CIBR

• Полностью настраиваемая установка