Системные требования¶
Программное окружение¶
Организация обеспечивает только операционную систему серверов и языковую модель. Остальные компоненты входят в поставку и разворачиваются автоматически, см. Состав продукта.
| Что требуется от организации | Требование |
|---|---|
| Операционная система серверов | Linux: Debian 11 и новее, Ubuntu 20.04 и новее, CentOS 8 и новее или совместимые отечественные дистрибутивы |
| Языковая модель | Сервис генерации с интерфейсом, совместимым с OpenAI API, развёрнутый в контуре организации или внешний |
Версии компонентов, входящих в поставку (среда контейнеризации, аналитическое хранилище, база метаданных, сервис аутентификации, кэш, средства наблюдения), зафиксированы в самой поставке и разворачиваются утилитой установки. Отдельно устанавливать и обновлять их не требуется.
Если аналитическое хранилище в организации уже есть, Орбита подключается к нему, и собственное не разворачивается. Требования к совместимости существующего хранилища уточняются при внедрении.
Конфигурация для ознакомления¶
Подходит для пилота, демонстрации и обучения. Все компоненты, кроме языковой модели, на одном сервере.
| Параметр | Значение |
|---|---|
| Процессор | 4 ядра |
| Оперативная память | 16 ГБ |
| Диск | 100 ГБ SSD |
| Пользователей | до 20 |
Языковая модель в такой конфигурации обычно внешняя либо развёрнута на отдельной машине.
Промышленная конфигурация¶
Расчёт для 4000 зарегистрированных пользователей, около 400 одновременно работающих. Конфигурация без резервирования узлов.
| Сервер | Назначение | Процессор | Память | Диск | Ускоритель |
|---|---|---|---|---|---|
| Языковая модель | Сервис генерации | 24 ядра | 256 ГБ | 2 ТБ NVMe | 1 ускоритель класса B200 192 ГБ |
| Приложение | Сервер Орбиты, сервис аутентификации, средства наблюдения | 16 ядер | 64 ГБ | 2 ТБ NVMe | нет |
| Аналитическое хранилище | Хранилище данных для анализа | 32 ядра | 256 ГБ | 15 ТБ NVMe RAID10 | нет |
| Метаданные | База метаданных и кэш | 8 ядер | 32 ГБ | 500 ГБ NVMe | нет |
Сеть между серверами: 25 Гбит/с. Доступ пользователей: HTTPS.
Что закладывалось в расчёт¶
| Параметр | Значение |
|---|---|
| Зарегистрированных пользователей | 4000 |
| Одновременно работающих на пике | около 400 |
| Запросов в пике | 10–15 в секунду |
| Обращений к языковой модели на один вопрос | 2–4 |
| Модель | класса 32 млрд параметров, формат FP8 |
При росте до 8000 пользователей замена оборудования не требуется. Дальнейший рост закрывается вторым ускорителем.
Требования к рабочему месту пользователя¶
| Компонент | Требование |
|---|---|
| Табличный редактор | Редактор с поддержкой плагинов, для которого поставляется плагин Орбиты |
| Браузер для веб-интерфейса администратора | Актуальная версия любого браузера на движке Chromium или Firefox |
| Сеть | Доступ к серверу Орбиты по HTTPS |
Отдельного оборудования на рабочем месте не требуется, вся обработка выполняется на сервере.
Что учесть при планировании¶
- Объём аналитического хранилища определяется данными организации. Приведённые 15 ТБ это ориентир, при большем объёме требуется расширение дисков или распределённая конфигурация.
- Конфигурация без резервирования требует ежедневного резервного копирования и согласованного окна на обновления. Подробнее: Резервное копирование.
- При недоступности ускорителей указанного класса возможны эквиваленты сопоставимого объёма памяти, требуется пересчёт производительности.