Развертывание сервиса краткой выжимки из переписки

Средний

В данной статье представлено описание настройки необходимого окружения на сервере и алгоритма развертывания сервиса.

Перед развертыванием сервиса краткой выжимки из переписки убедитесь, что сервер, на котором будет выполняться установка, подходит под системные требования. Системные требования передаются с файлами установки сервиса в магазине приложений.

Настройка окружения

Решение поставляется в виде архива для установки при помощи Docker Compose.

В случае отсутствия в системе Docker и Docker Compose выполните их установку по инструкции с официального сайта Docker для соответствующей версии операционной системы.

Дополнительно для работы модели нужно установить следующее программное обеспечение на сервер:

CUDA 12;
NVIDIA Driver версии совместимой с установленной версией CUDA;
NVIDIA Container Toolkit.

Все перечисленное программное обеспечение можно скачать с официальных ресурсов NVIDIA.

Порядок установки

Для развертывания сервиса необходимо последовательно выполнить следующие команды:

Распаковать архив:

unzip llm-summary.zip

Перейти в директорию с распакованными файлами:

cd LLM_summary

Выполните команды:

chmod +x install.sh
./install.sh

В файле .env необходимо установить значения переменных:

Таблица 1 — Параметры файла .env

Параметр	Описание	Требуется заполнение
SUMMARY_MODEL_NAME	Путь к модели суммаризации	Заполнено по умолчанию
SUMMARY_ENGINE_DIR	Путь к engine суммаризации	Заполнено по умолчанию
SENTIMENT_MODEL_NAME	Путь к модели определения тональности	Заполнено по умолчанию
SENTIMENT_TOKENIZER_PATH	Путь к токенайзеру	Заполнено по умолчанию
SUMMARY_ENGINE_NAME	Название engine суммаризации	Заполнено по умолчанию
SUMMARY_MAX_NEW_TOKENS	Максимальный размер результата 1 итерации суммаризации	Заполнено по умолчанию
SUMMARY_LOG_LEVEL	Уровень логирования	Да
SUMMARY_NUM_BEAMS	Число параллельных веток при поиске следующего токена при суммаризации	Заполнено по умолчанию
SUMMARY_DEBUG_MODE	Режим debug	Заполнено по умолчанию
SUMMARY_LORA_DIR	Путь к LoRA-адаптеру	Заполнено по умолчанию
SUMMARY_LORA_TASK_UIDS	Идентификаторы LoRA	Заполнено по умолчанию
BACKEND_PORT	Порт, который будет ожидать запросы от сервиса суммаризации и тональности	Да
MYSQL_ADDRESS	Адрес базы данных	Да
MYSQL_PASSWORD	Пароль пользователя базы данных	Да
MYSQL_USER	Пользователь базы данных	Да
MYSQL_DB	Имя базы данных	Да
MYSQL_PORT	Порт базы данных	Да
MYSQL_DATA_DIR	Директория с данными базы данных	Да
CES_URL	https://ru2-ces.cloudbpm.ru	Заполнено по умолчанию

При развертывании используется пароль базы данных по умолчанию, рекомендуется изменить его после установки.

Выполнить команду:

sudo docker compose up -d

Сервер будет доступен по порту, указанному в переменной BACKEND_PORT.

Развертывание сервиса краткой выжимки из переписки

Настройка окружения

Порядок установки

Рекомендуем изучить