Подключение Staffcop к LLM-серверу

Примечание

Перед настройкой запустите сервер LLM.

После установки сервера подключитесь к LLM-прокси. После подключения Staffcop начнет передавать данные на сервер, а LLM-сервер — извлекать из них метаданные. Вы сможете отправлять запросы в чате, в Staffcop во вкладке Политики отобразятся Политики LLM. Если их включить, у событий появятся новые поля: ключевые темы, тональность, паттерны поведения, коммуникативные намерения.

Подключение к серверу LLM

  1. Откройте конфигурационный файл /etc/staffcop/config и добавьте настройки:

LLM_ENABLE = True
LLM_PROXY_URL = 'http://127.0.0.1:8082'
LLM_PROXY_KEY = 'abcdefghijklmnopqrstuvwxyz'

Где:

  • LLM_ENABLE = True — включение политик.

  • LLM_PROXY_URL = 'http://127.0.0.1:8082' — адрес вашего LLM-сервера. Может отличаться от приведенного в примере.

  • LLM_PROXY_KEY = 'abcdefghijklmnopqrstuvwxyz' — ключ авторизации для доступа к LLM-серверу.

Важно

Убедитесь, что вы не используете ключ по умолчанию. Чтобы его сменить, выполните команду на LLM-сервере:

llm-proxy set-api-key

Значения параметров находятся в конфигурационном файле LLM-прокси на LLM-сервере.

  1. При необходимости настройте количество сообщений, которые будут обрабатываться за раз. Значение по умолчанию — 10, вы можете его не менять:

LLM_POLICY_BATCH_SIZE = 10

  1. Настройте модель. В новом интерфейсе перейдите Администрирование → LLM → Ollama. Добавьте настройки. Базовые настройки:

  • Название — Ollama;

  • Провайдер — OpenAI;

  • Модель — qwen3:14b;

  • API URL — адрес вашего Ollama, например: http://10.10.99.10:11434/v1;

  • Размышления — рекомендуем включать только для проверки работы промпта, так как они замедляют работу;

  • API KEY — укажите, если он есть в вашей конфигурации, иначе — оставьте пустым.

Если у вас развернута другая модель, используйте соответствующие настройки.

  1. Сохраните настройки.

В конструкторе появится вкладка Политики LLM.

Включение LLM-политик

Чтобы начать обработку событий, активируйте политики на вкладке Политики → Политики LLM.

../_images/llm_policies_setup_1.png

После активации политика начинает обрабатывать события.

См.также

Подробнее о политиках LLM

Отслеживание обработки

Состояние обработки можно отслеживать на странице Фильтры и политики. В процессе работы количество событий в очереди постепенно уменьшится.

При первом запуске или перезапуске политика разбирает накопленную очередь событий батчами. После обработки каждого батча количество событий в очереди уменьшается. Обратите внимание: из-за особенностей подсчета количество оставшихся событий показывается приблизительно.

Мониторинг загрузки в Grafana

Ход загрузки данных можно отслеживать в Grafana по адресу http://localhost/grafana.

В Grafana доступны дашборды:

  • Docker Container & Host Metrics — мониторинг контейнеров Docker;

  • Node Exporter Full — состояние сервера;

  • Nvidia GPU Metrics — загрузка GPU при работе LLM;

  • Ollama — логи Ollama.

Последнее обновление: 12.11.26