Внедрение DataOps в аналитическую платформу
- Backend
- DevOps
- Apache Airflow
- DAG
- GitSync
- Apache Spark
- Apache Kafka
- Kubernetes
- GitLab
- CI/CD
У вас есть задача? Давайте обсудим!
О клиенте
Риэлторская сеть более 25 лет предоставляет услуги по покупке, продаже, обмену и аренде жилой и коммерческой недвижимости, а также оказывает поддержку при оформлении ипотеки. Компания делает стратегическую ставку на развитие аналитики, автоматизацию процессов и повышение прозрачности всех этапов клиентского пути. Входит в топ-20 агентств недвижимости России по версии Домклик 2024 года.
О проекте
Аналитическая платформа позволяет бизнесу управлять каталогом объектов, просчитывать стоимость недостроенного жилья на годы вперед, предугадывать риски для покупателей и арендаторов. Однако любые изменения в логике обработки данных требовали ручного вмешательства, дополнительно возникали сбои при обновлении аналитических витрин. Для устранения этих ограничений клиент обратился в RedLab.
Описание задачи
Цель проекта — трансформировать архитектуру данных, сделав ее более прозрачной, предсказуемой и масштабируемой. Для этого аутсорс-команда RedLab предложила внедрить подход DataOps, который обеспечивает соответствие ключевым требованиям к будущему продукту:
- Высокая скорость обновления информации.
- Достоверность и согласованность сведений.
- Быстрая адаптация под новые источники данных.
- Минимальные задержки при формировании отчетов.
- Возможность быстрой проверки бизнес-гипотез.
Реализация
Инженеры RedLab выполнили ряд задач:
- Переосмыслили архитектуру обработки данных: выделили ключевые типы потоков — объекты, сделки, подрядчики, спрос, ценовая динамика — и для каждого спроектировали отдельные пайплайны с независимой логикой.
- Перенесли пайплайны в отказоустойчивую среду на базе Kubernetes, чтобы обеспечить гибкую масштабируемость при росте количества объектов недвижимости.
- Настроили CI/CD-процессы. Удалось безопасно и прозрачно вносить изменения в логику расчетов, быстро тестировать и выкатывать обновления.
- Автоматизировали контроль качества сведений. Для этого на этапе ingestion настроили тесты на дубликаты, устаревшие записи, расхождения в ценах, нарушения SLA, ошибки в привязке к географии.
- Сделали версионирование бизнес-логики и конфигураций, включая правила расчета стоимости недостроенного жилья, поправочные коэффициенты по регионам и структуру справочников.
- Оптимизировали ETL/ELT-процессы и обновили аналитические витрины, где формируются отчеты по инвестиционной привлекательности, доходности аренды и динамике цен в разрезе районов.
- Разработали шаблоны CI-тестов для бизнес-гипотез. Теперь аналитики самостоятельно проверяют идеи без вмешательства разработчиков.
Результат
Переходите по ссылке, чтобы узнать об аутсорсинге ИТ-специалистов больше.
