Gen AI-платформа для оптимизации бизнес-процессов и автоматизации линейных функций
- Backend
- DevOps
- Python
- Ray
- Ollama
- llama.cpp
У вас есть задача? Давайте обсудим!
О клиенте
Клиент — один из крупнейших игроков на рынке цифровых услуг, который активно инвестирует в развитие собственных технологий искусственного интеллекта. Компания стремится к трансформации внутренних процессов за счет автоматизации, внедрения интеллектуальных ассистентов и построения собственной AI-инфраструктуры. Основная цель — повышение эффективности, снижение операционных затрат и создание новых форм взаимодействия пользователей с цифровыми продуктами.
О проекте
Проект заключался в создании Gen AI-платформы нового поколения — корпоративного генеративного ИИ, основанного на больших языковых моделях (LLM), обученных на внутренних данных компании. Решение стало одним из первых крупномасштабных внедрений генеративного ИИ в корпоративную среду, где ключевой задачей было заместить часть линейных должностей полностью или частично, сохранив при этом высокое качество обслуживания и контроль над рисками.
Описание задачи
Перед командой стояла комплексная задача — создать не просто набор инструментов автоматизации, а полнофункционального AI-ассистента для бизнеса, который бы:
- Замещал часть линейных должностей — обеспечивал автоматическое выполнение рутинных операций, связанных с анализом, классификацией и модерацией контента, снижая нагрузку на сотрудников.
- Принимал решения с высокой точностью — самостоятельно определял корректность клиентских объявлений и рекламных материалов, действуя по корпоративным правилам и обеспечивая стабильное качество модерации.
- Оптимизировал производственные процессы — сокращал затраты на персонал, ускорял обработку задач и уменьшал количество ошибок, связанных с человеческим фактором.
- Работал в безопасной среде — использовал модели, обученные на внутренних данных компании, гарантируя конфиденциальность, предсказуемость поведения и соответствие корпоративным стандартам безопасности.
Реализация
В ходе проекта был выполнен следующий блок работ:
- Построение моделей генеративного ИИ. Разработаны и обучены большие языковые модели (LLM), созданные на базе внутренних данных компании. Это позволило адаптировать их под реальные сценарии, повысить точность решений и обеспечить корректную работу с корпоративными регламентами.
- Распределенная AI-инфраструктура. Реализована архитектура на Python с использованием Ray, что обеспечило масштабируемые вычисления и возможность параллельной обработки больших массивов данных.
- Запуск моделей на локальных и гибридных мощностях. Интегрированы инструменты Ollama и llama.cpp, позволившие эффективно запускать модели на разных аппаратных платформах — от внутренних серверов до edge-устройств.
- Автоматизация модерации клиентских объявлений. Создан алгоритм, способный самостоятельно принимать решения более чем в 90% случаев. Система определяет запрещенный контент, классифицирует материалы и формирует итоговый вердикт без участия человека.
- Автоматизация модерации рекламных материалов. Построена аналогичная логика для оценки рекламных креативов и кампаний. Вмешательство специалиста требуется только для единичных сложных кейсов, обеспечивая значительное сокращение штата модераторов.
- Безопасная интеграция и эксплуатация. Обеспечено полностью закрытое хранение данных, централизованное управление моделями, аудит решений и возможность гибкой дообучаемости без вывода данных за пределы инфраструктуры.
