Развертывание сервиса краткой выжимки из переписки
В данной статье представлено описание настройки необходимого окружения на сервере и алгоритма развертывания сервиса.
Настройка окружения
Решение поставляется в виде архива для установки при помощи Docker Compose.
В случае отсутствия в системе Docker и Docker Compose выполните их установку по инструкции с официального сайта Docker для соответствующей версии операционной системы.
Дополнительно для работы модели нужно установить следующее программное обеспечение на сервер:
- CUDA 12;
- NVIDIA Driver версии совместимой с установленной версией CUDA;
- NVIDIA Container Toolkit.
Все перечисленное программное обеспечение можно скачать с официальных ресурсов NVIDIA.
Порядок установки
Для развертывания сервиса необходимо последовательно выполнить следующие команды:
- Распаковать архив: unzip llm-summary.zip
- Перейти в директорию с распакованными файлами: cd LLM_summary
- Выполните команды: chmod +x install.sh
- В файле .env необходимо установить значения переменных:
./install.sh
Таблица 1 — Параметры файла .env
| Параметр | Описание | Требуется заполнение |
| SUMMARY_MODEL_NAME | Путь к модели суммаризации | Заполнено по умолчанию |
| SUMMARY_ENGINE_DIR | Путь к engine суммаризации | Заполнено по умолчанию |
| SENTIMENT_MODEL_NAME | Путь к модели определения тональности | Заполнено по умолчанию |
| SENTIMENT_TOKENIZER_PATH | Путь к токенайзеру | Заполнено по умолчанию |
| SUMMARY_ENGINE_NAME | Название engine суммаризации | Заполнено по умолчанию |
| SUMMARY_MAX_NEW_TOKENS | Максимальный размер результата 1 итерации суммаризации | Заполнено по умолчанию |
| SUMMARY_LOG_LEVEL | Уровень логирования | Да |
| SUMMARY_NUM_BEAMS | Число параллельных веток при поиске следующего токена при суммаризации | Заполнено по умолчанию |
| SUMMARY_DEBUG_MODE | Режим debug | Заполнено по умолчанию |
| SUMMARY_LORA_DIR | Путь к LoRA-адаптеру | Заполнено по умолчанию |
| SUMMARY_LORA_TASK_UIDS | Идентификаторы LoRA | Заполнено по умолчанию |
| BACKEND_PORT | Порт, который будет ожидать запросы от сервиса суммаризации и тональности | Да |
| MYSQL_ADDRESS | Адрес базы данных | Да |
| MYSQL_PASSWORD | Пароль пользователя базы данных | Да |
| MYSQL_USER | Пользователь базы данных | Да |
| MYSQL_DB | Имя базы данных | Да |
| MYSQL_PORT | Порт базы данных | Да |
| MYSQL_DATA_DIR | Директория с данными базы данных | Да |
| CES_URL | https://ru2-ces.cloudbpm.ru | Заполнено по умолчанию |
- Выполнить команду: sudo docker compose up -d
Сервер будет доступен по порту, указанному в переменной BACKEND_PORT.