Развертывание LLM-компонента сервиса машинного обучения через
Docker
Средний
Скачать
Версия 1.9 
В статье описано развертывание LLM-компонента сервиса машинного обучения. Этот компонент — дополнительная часть микросервиса машинного обучения и обязателен для работы модели сегментации.
Инструкция подходит для развертывания в своем окружении, соответствующем системным требованиям BPMSoft. При развертывании BPMSoft в инфраструктуре других облачных провайдеров необходимо учитывать особенности и возможные ограничения инфраструктуры и предоставляемых доступов. Для уточнения деталей или при возникновении вопросов рекомендуем обратиться к документации или поддержке облачного провайдера.
Развертывание компонента выполняется после развертывания сервиса машинного обучения:
- Развертывание сервиса машинного обучения через Docker;
- Развертывание сервиса машинного обучения через Kubernetes.
Для установки компонента:
- Распакуйте архив ml-service-bpmsoft.zip:
unzip ml-service-bpmsoft.zip
- Перейдите в директорию с распакованными файлами.
cd release/llm
- Установите Docker и Docker Compose.
- Запустите сервис машинного обучения.
- Установите LLM-компонент. Команды chmod +x install.sh и ./install.sh предназначены для установки при отсутствии подключения к сети Интернет. Если подключение есть, то эти команды следует пропустить, и сразу выполнить команду make docker-run.
Команды по установке LLM-компонента
chmod +x install.sh ./install.sh make docker-run
Команда make docker-run запустит контейнер с доступом к GPU и перенаправит порт 8000 на ваш хост-компьютер. Убедитесь, что у вас установлена NVIDIA Container Toolkit для доступа к GPU внутри контейнера.
Рекомендуем изучить
Развертывание сервиса машинного обучения через Docker
Развертывание сервиса машинного обучения через Kubernetes
Подключение к сервису машинного обучения
Материал был полезен для вас?