Файловый сканер (новая версия)

Внимание

Файловый сканер и основной сервер Staffcop Enterprise должны быть установлены строго на разных физических серверах для исключения конкуренции за ресурсы CPU, RAM и дисковой подсистемы.

Программное обеспечение

Требование

Описание

ОС

Ubuntu 22.04,
Astra Linux Special Edition 1.8

Staffcop Enteprise

С версии 5.7.1

Windows-агент

Версия 5.8.2604 и выше

Linux-агент

Версия 0.18.37 и выше

База данных

PostgreSQL версии: 15

Сетевые порты

Между серверами должны быть открыты порты:

  • 5432 — PostgreSQL,

  • 2049 — NFS,

  • 8000 — HTTP-API.

Доступ

Возможность выполнения команд через sudo или учетная запись с правами root на обоих серверах.

Оперативная память и процессор

При выделении ресурсов мощности учитывайте:

  • количество агентов,

  • количество событий сканирования,

  • размер текстового содержимого файлов,

  • количество категорий,

  • количество и сложность правил категоризации.

Сохраните ресурсы для процессов:

  • загрузка данных в базу данных PostgreSQL из спулера ETL;

  • работа в веб-интерфейсе;

    Примечание

    Для ускорение вывода, сортировки и фильтрации данных в веб-интерфейсе PostgreSQL формирует материализованное представление files_filecube в фоновом режиме. Поддержка и обновление материализованного представления потребляют ресурсы. При возникновении вопросов по настройке или оптимизации обратитесь в техническую поддержку.

  • создание задач на категоризацию — продюсер создает задачу на обработку каждой категории пачки файлов.

Конфигурация

CPU

RAM

Количество воркеров [1]

До 10 агентов

4 ядра

8 ГБ

1

10-100 агентов

16 ядер

16 ГБ

6-8

От 100 агентов

32+ ядер

32 ГБ

16+

Дисковое пространство

Дисковое пространство рассчитывается исходя из количества собираемых файлов.

Рекомендованные значения к дисковому пространству: 2 ТБ, из которых 1 ТБ — база данных.
Предпочительно использовать диски NVMe.

Конфигурация файлового сканера

Настроить работу файлового сканера можно в файле конфигурации /etc/file-scanner/config.

Примечание

При возникновении проблем с настройкой обратитесь в техническую поддержку.

Параметр

По умолчанию

Описание

CATEGORIZATION_WORKERS

2

Количество воркеров для параллельной обработки категорий.

CATEGORIZATION_WORKER_RETRY_TIME

602

Время до перезапуска задачи. Должен быть больше значения CATEGORIZATION_WORKER_MAX_TIME_LIMIT.

CATEGORIZATION_WORKER_MAX_TIME_LIMIT

600

Максимальное время выполнения задачи. При превышении задача закрывается.

CATEGORIZATION_QUEUE_MAX_SIZE_LIMIT

500000

Максимальное количество одновременных задач.

CATEGORIZATION_QUEUE_MAX_SIZE_TIMEOUT

30 секунд

Интервал проверки освобождения места в очереди.

CATEGORIZATION_QUEUE_FROZEN_TIMEOUT

1440 минут (24 часа)

Время, после которого задача считается зависшей.

CATEGORIZATION_PRODUCER_FULL_BATCH_SIZE

10000

Максимальное количество задач в очереди за одну итерацию продюсера. [2]

CATEGORIZATION_PRODUCER_DIV_BATCH_SIZE

100

Задач на категорию за проход для равномерного распределения.

CATEGORIZATION_PRODUCER_TIMEOUT

5 секунд

Пауза перед следующим созданием задач.

CATEGORIZATION_CONSUMER_FULL_BATCH_SIZE

10000

Задач, распределенных по воркерам за итерацию консьюмера. [3]

CATEGORIZATION_CONSUMER_TASKS_BATCH_SIZE

100

Задач на один воркер за раз.

CATEGORIZATION_CONSUMER_TIMEOUT

5 секунд

Пауза перед следующим распределением задач.

Последнее обновление: 08.06.26