Компания «Диасофт» совершенствует MLOps-платформу, которая входит в состав решения «Фабрика данных» (Digital Q.DataFactory). По итогам последнего обновления в платформу добавили «ИИ-Шлюз». Инструмент выступает единой точкой входа для безопасного и эффективного вызова ИИ-моделей. Об этом CNews сообщил представитель «Диасофта».

При активном внедрении искусственного интеллекта компании сталкиваются с комплексом проблем в инфраструктуре и безопасности. Среди них: риски утечки данных, неконтролируемые затраты, разрозненность ИТ-ландшафта и сбои, а также зависимость от иностранного программного обеспечения.

MLOps-платформа помогает исключить все эти трудности благодаря следующим возможностям «ИИ-Шлюза»: сквозная защита данных на уровне инференса (Zero-Trust AI): автоматический перехват запросов, маскирование конфиденциальных данных (PII) до их отправки к внешним LLM-провайдерам и демаскирование ответов при возврате клиенту; интеллектуальная маршрутизация: умное распределение вызовов не только на основе стоимости или типа задачи, но и с учетом реальной доступности вычислительных ресурсов. Автоматический откат (fallback) на альтернативные модели при сбоях; полный контроль затрат на ИИ за счет экспорта метрик (запрос-ответ, токены, latency) с возможностью настройки лимитов (TPM/RPM) и квот; семантическое кеширование: распознавание смысловых дубликатов запросов для мгновенного возврата ранее сгенерированных ответов, снижения нагрузки на LLM и экономии бюджета; безопасное управление доступом: интеграция с Digital Q.Security (аутентификация по SSO, управление ключами), а также контентная фильтрация через Guardrails AI; унифицированный API: предоставление единой OpenAI-совместимой конечной точки (endpoint) для работы с любыми локальными и внешними провайдерами («ГигаЧат», РФ-агрегатор Routerai.ru и др.).

Западные гиганты судятся с VMware из-за лицензионной политики, — риски растут и для российских компаний Импортонезависимость

«Главная ценность «ИИ-Шлюза» – превращение хаотичного и небезопасного использования нейросетей в управляемый корпоративный процесс. Мы из коробки решили главную боль – данные больше не уходят в большие языковые модели в облаке в открытом виде. Шлюз сам перехватывает запрос, маскирует чувствительную информацию и только потом отправляет в LLM, а на обратном пути аккуратно демаскирует ответ», – сказал Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт».

Решение «Фабрика данных», в состав которого входит MLOps-платформа, предназначено для объединения разрозненных данных в единое хранилище, аналитики данных, автоматизации подготовки признаков ML-моделей, машинного обучения предиктивных моделей и визуализации данных. Оно включено в реестр российского программного обеспечения (запись №34110).

• Подобрать оптимальный виртуальный сервер VPS/VDS на ИТ-маркетплейсе CNewsMarket