DataOps для повышения скорости развития финансового приложения
- Backend
- DevOps
- Apache Airflow
- DAG
- GitSync
- Apache Spark
- Apache Kafka
- Kubernetes
- GitLab
- CI/CD
У вас есть задача? Давайте обсудим!
О клиенте
Организация специализируется на разработке цифровых продуктов для сегмента B2C: мобильного приложения с мультифинансовыми сервисами и агрегатора персональных предложений. Бизнес-модель компании строится на анализе клиентского поведения, точечной персонализации и быстром запуске новых функций. Стартап активно развивается и привлек инвестиции от профильного фонда.
О проекте
Сервис позволяет объединить информацию с разных банковских счетов и карт, чтобы удобно отслеживать все финансы в одном месте. Пользователи могут планировать бюджет, анализировать траты по категориям и устанавливать финансовые цели — например, откладывать часть зарплаты. Приложение поддерживает мультивалютность и визуализирует данные с помощью диаграмм и графиков.
Описание задачи
Команде RedLab необходимо было устранить ограничения в архитектуре данных, которые мешали масштабированию продукта и росту LTV. При постановке технического задания заказчик сформулировал ряд ключевых задач:
- Обеспечить прозрачность обработки данных для BI-отчетов и персонализированных сценариев внутри приложения.
- Перестроить пайплайны расчета клиентского поведения, чтобы повысить стабильность сервиса и точность рекомендаций.
- Ускорить внедрение новых функций, сократив время от гипотезы до релиза.
Реализация
В процессе модернизации программы инженеры RedLab выполнили следующие шаги:
- Развернули и настроили систему обработки данных в Kubernetes, что обеспечило отказоустойчивость, горизонтальное масштабирование и высокую доступность ключевых компонентов.
- Выделили отдельные пайплайны для транзакций, балансов, целей пользователей и валютных курсов. Каждый поток получил независимую логику, контроль точек отказа и мониторинг.
- Внедрили CI/CD-процессы для аналитических моделей, SQL-скриптов и бизнес-правил, что позволило безопасно выкатывать изменения.
- Настроили проверки через Great Expectations — на корректность сумм, дубликаты транзакций и согласованность остатков по валютам.
- Оптимизировали ETL/ELT-процессы, ускорив загрузку информации с банковских API, платежных систем и сторонних сервисов.
- Каталогизировали все источники и потоки данных, настроили Data Lineage и документацию в DataHub, чтобы обеспечить прозрачность и прослеживаемость сведений — от первичных API до пользовательских отчетов в BI.
- Обеспечили стабильную работу NoSQL-хранилищ, в том числе MongoDB, для хранения метаинформации по пользователям, конфигурациям целей и предпочтений в бюджетировании.
Результат
• 55% ускорение time-to-market.
• 43% рост скорости реакции на поведение пользователей.
• 98,7% стабильность выполнения DAG-цепочек без ошибок.
Переходите по ссылке, чтобы узнать об аутсорсинге ИТ-специалистов больше.
