Миграция DWH на российский стек
- Analytics
- Backend
- QA
- Python
- ClickHouse
- Apache Airflow
- Talend
Индустрия
Медицина

У вас есть задача?
Давайте обсудим?
О клиенте
Медицинская компания проводит широкий спектр лабораторных исследований, которые включают общеклинические, биохимические, гормональные, иммунологические, онкоцитологические и другие анализы. Также в диагностических центрах доступны рентгенологические и компьютерные обследования. Ежегодно организация выполняет 500.000+ тестов.
О проекте
Клиент использовал иностранную облачную платформу для DWH и BI-систему. Уход вендоров с российского рынка создал серьезные ограничения: невозможность приобретения новых лицензий, отсутствие обновлений ПО и технической поддержки. Это поставило под угрозу устойчивую работу существующей инфраструктуры и создало сложности при анализе данных.
Описание задачи
Бизнес принял стратегическое решение о миграции корпоративного хранилища данных с западных решений на отечественные программы.
Специалистам RedLab требовалось:
- обеспечить плавную миграцию данных без влияния на текущие процессы;
- выбрать российские ИТ-продукты, соответствующие потребностям компании;
- адаптировать ETL-процессы для новой системы;
- увеличить производительность DWH.
Реализация
Команда RedLab детально обследовала информационные системы компании, чтобы выявить форматы, структуры и объемы данных. Далее ИТ-специалисты выполнили ряд задач:
- Провели комплексный анализ ИТ-ландшафта и бизнес-процессов клиента, включая изучение методологии и подходов к управлению данными.
- Разработали детальный план миграции с четким указанием временных окон для тестирования и обучения пользователей.
- Изучили российские программные решения и выбрали оптимальный стек технологий, ориентируясь на требования компании.
- Наладили интеграцию нового DWH с CRM-системой клиента и внутренней ERP для быстрого получения сведений.
- Адаптировали ETL-процессы. Устаревшие SQL-скрипты заменили на более производительные решения.
- Развернули DWH в облаке Yandex Cloud, т.к. платформа внесена в реестр отечественного ПО и соответствует российским стандартам безопасности.
- Выбрали ClickHouse в качестве основного хранилища. СУБД имеет высокую производительность при работе с оперативной аналитикой.
- Внедрили BI-систему Yandex DataLens, которая обеспечила удобную визуализацию данных и быстрый доступ к ключевым показателям бизнеса.
- Выполнили тестирование ПО, включая стресс-тесты. В результате новая система выдерживает пиковую нагрузку в 2,5 раза выше, чем предыдущая платформа.
- Составили подробную документацию по новому хранилищу данных, включая инструкции для администраторов и конечных пользователей.
- Настроили процесс выгрузки данных с минимальным риском их утраты. Для этого реализовали параллельный подход — частичную выгрузку информации с последующей верификацией.
Результат
Переходите по ссылке, чтобы узнать об аутсорсинге разработчиков DWH больше.