Данил Ю. , Senior, Аналитик DWH

Проект по развитию корпоративного хранилища данных и Data Lake в телеком-компании. В рамках проекта обеспечивалась миграция витрин данных с legacy-решений, интеграция новых источников, внедрение практик контроля качества данных и методологическая поддержка аналитических команд. Решения проекта использовались для продуктовой, маркетинговой и финансовой аналитики, а также для интеграции внутренних сервисов компании.

1. Миграция витрин данных с Oracle на Hadoop с оптимизацией SQL-кода, очисткой логики витрин и использованием партиционирования.
2. Проектирование, развитие и сопровождение витрин данных в GreenPlum и ClickHouse.
3. Внедрение автоматических Data Quality-проверок для витрин и таблиц DWH.
4. Проектирование и развитие технических дашбордов в Grafana для мониторинга качества данных, ошибок загрузки и стабильности витрин.
5. Сбор и формализация бизнес-требований, подготовка технических заданий (ТЗ) и roadmap интеграции сервисов в DWH.
6. Интеграция новых источников данных в DWH с использованием Kafka.
7. Формирование целевого формата S2T, описание правил маппинга и защита подхода на аналитических синках трайба.
8. Развитие Data Lake, участие в стандартизации аналитических процессов и шаблонов задач.
9. Улучшение декомпозиции аналитических задач в Jira, повышение прозрачности и управляемости эпиков.
10. Использование Python для анализа данных и написания вспомогательных аналитических скриптов (проверки, сверки, прототипирование).
11. Методологическая поддержка коллег в бизнес-области кредитных рейтингов и дефолтных признаков клиентов.
12. Обучение и менторинг стажёров, участие в разборе ошибок загрузки данных в Airflow и мониторинге инцидентов.

Проект по развитию корпоративного хранилища данных банка для формирования регуляторной отчётности Центрального банка РФ, а также аналитических витрин бизнес-областей антифрода и клиентских остатков. В рамках проекта осуществлялся переход с legacy-CRM на целевые витрины данных, внедрение архитектуры Data Vault 2.0, интеграция новых источников данных и обеспечение контроля качества поставки данных.

1. Оптимизация расчёта регуляторной отчётной формы ЦБ за счёт замены legacy-CRM на целевые витрины в корпоративном DWH на Hadoop.
2. Проектирование и развитие витрин данных для регуляторной и управленческой отчётности.
3. Внедрение архитектуры Data Vault 2.0 для новых источников данных в хранилище на GreenPlum.
4. Интеграция файловых источников данных бизнес-области антифрод в единые витрины данных.
5. Формирование единой витрины по антифрод-данным на основе более чем 50 таблиц.
6. Настройка системы Data Quality-проверок для поиска расхождений между источниками данных.
7. Проектирование и внедрение системы алертинга по ошибкам качества данных с использованием Kafka.
8. Взаимодействие с поставщиками данных: проведение бизнес-переговоров, согласование SLA и требований к качеству данных.
9. Подготовка и защита аналитических отчётов и витрин на этапах релизного процесса и ПСИ в соответствии со стандартами банка.
10. Участие в ETL/ELT-процессах и аналитических сверках данных, подготовка SQL-запросов для анализа расхождений.
11. Ведение проектной и аналитической документации, сопровождение задач в Jira и Confluence.

Проект по миграции корпоративного хранилища данных заказчика с legacy-решения на целевую платформу GreenPlum в рамках задач импортозамещения. В рамках проекта обеспечивался полный аналитический цикл: сбор и формализация требований, проектирование архитектуры целевого DWH, миграция витрин данных и сопровождение пользователей при переходе на новую систему.

1. Миграция витрин данных с legacy-хранилища на целевое решение GreenPlum.
2. Проектирование и сопровождение витрин данных для аналитической и управленческой отчётности.
3. Проведение серии бизнес-интервью с заказчиком и ключевыми пользователями системы.
4. Сбор и формализация функциональных и нефункциональных требований (ФТ/НФТ).
5. Подготовка технического задания на архитектуру мигрируемого хранилища данных.
6. Описание use-case моделей для визуализации взаимодействия пользователей с витринами DWH.
7. Анализ и определение уровня нормализации витрин данных.
8. Моделирование данных с использованием ER-диаграмм.
9. Подготовка и ведение проектной документации.
10. Консультирование пользователей и сбор обратной связи в процессе внедрения новой системы.
11. Участие в оптимизации пользовательских сценариев работы с витринами данных.