Развертывание сервиса краткой выжимки из переписки

В данной статье представлено описание настройки необходимого окружения на сервере и алгоритма развертывания сервиса.

Настройка окружения

Решение поставляется в виде архива для установки при помощи Docker Compose.

В случае отсутствия в системе Docker и Docker Compose выполните их установку по инструкции с официального сайта Docker для соответствующей версии операционной системы.

Дополнительно для работы модели нужно установить следующее программное обеспечение на сервер:

• CUDA 12;
• NVIDIA Driver версии совместимой с установленной версией CUDA;
• NVIDIA Container Toolkit.

Все перечисленное программное обеспечение можно скачать с официальных ресурсов NVIDIA.

Порядок установки

Для развертывания сервиса необходимо последовательно выполнить следующие команды:

1. Распаковать архив:
unzip llm-summary.zip
2. Перейти в директорию с распакованными файлами:
cd LLM_summary
3. Выполните команды:
chmod +x install.sh
./install.sh
4. В файле .env необходимо установить значения переменных:

Таблица 1 — Параметры файла .env

5. Выполнить команду:
sudo docker compose up -d

Сервер будет доступен по порту, указанному в переменной BACKEND_PORT.

Рекомендуем изучить

Модуль AI пересказ