Разработка DWH для повышения эффективности аналитики
- Analytics
- Backend
- QA
- Python
- ClickHouse
- Apache Airflow
- Talend
Индустрия
Ecom и ритейл

У вас есть задача?
Давайте обсудим?
О клиенте
Розничная сеть специализируется на продаже компьютерной, цифровой и бытовой техники. Компания насчитывает 1500+ магазинов, а также активно развивает онлайн-продажи — сайт и мобильное приложение используют 113+ млн клиентов. Особое внимание бизнес уделяет организации различных промоакций и дисконтов, которые позволяют аудитории приобрести товары дешевле или получить дополнительные преимущества.
О проекте
С ростом числа торговых точек, объемов продаж и каналов взаимодействия клиент столкнулся с проблемами в обработке и анализе данных. Информация поступала из множества разрозненных источников — интернет-магазина, CRM, ERP и маркетинговых инструментов. Отчеты занимали недели, прогнозы были неточными, а операционные системы испытывали перегрузки. Ритейл-компания нуждалась в централизации данных и real-time аналитике.
Описание задачи
С целью повышения скорости и качества принятия решений было необходимо разработать и внедрить корпоративное хранилище данных (DWH). Оно позволило бы объединить информацию из всех систем, упростить доступ к сведениям и предоставить аналитикам инструменты для быстрого построения отчетов.
Разработчикам RedLab требовалось интегрировать данные о:
- заказах, продажах, возвратах и поведении пользователей, которые передаются через REST API на платформе интернет-магазина;
- клиентах, их покупательском поведении, истории взаимодействий и программе лояльности из CRM-системы;
- движении товаров, остатках на складах и финансовых операциях, выгружаемые в формате XML из ERP-системы (1С: Управление торговлей);
- рекламных кампаниях и эффективности продвижения, получаемые через API сервисов, таких как Яндекс.Директ и VK Ads;
- справочниках, маппинге баркодов и цен, подготовленные специалистами компании и передаваемые в формате CSV.
Реализация
Команда RedLab детально обследовала информационные системы компании, чтобы выявить форматы, структуры и объемы данных. Далее ИТ-специалисты выполнили ряд задач:
- Спроектировали звездообразную схему с основными фактами (продажи, возвраты, доходность) и измерениями (товары, магазины, клиенты).
- Внедрили аналитическую СУБД ClickHouse в качестве хранилища и системы контроля доступа, что позволило быстро выполнять сложные запросы
- Настроили процессы извлечения, очистки, трансформации и загрузки данных с использованием Apache Airflow и Talend. Для ускорения обработки использовали параллельные загрузки.
- Установили коннекторы для автоматического сбора данных из e-commerce платформы, CRM, ERP и др.
- Развернули DWH в отечественном облаке Yandex Cloud. Такое решение обеспечило надежность и безопасность.
- Интегрировали хранилище с BI-инструментами. Теперь бизнес оперативно строит интерактивные дашборды и отчеты без необходимости глубокого технического погружения.
- Оформили политики доступа и защиты данных с использованием ролевой модели и инструментов шифрования ClickHouse.
- Провели функциональное и нагрузочное тестирование ETL-процессов и хранилища, после чего выполнили оптимизацию запросов для повышения их производительности.
Результат
Переходите по ссылке, чтобы узнать об аутсорсинге разработчиков DWH больше.