Алишер У. , Middle+, Data инженер
- Data инженер
- Middle+
- Опыт работы:
- От 3 до 6 лет
- Языки:
Английский — B2
ПисьменныйРазговорный
О специалисте
Data Engineer с 3,5 годами общего опыта, из которых последние 1,5+ года работает непосредственно в Data Engineering.
Сильная сторона — архитектура хранения и моделирование данных: участвовал в проектировании Data Lake на Hadoop, строил многослойные DWH и витрины по Kimball, а также работал с Data Vault 2.0 для Core-слоя. Это даёт хороший фундамент именно под задачи развития корпоративного хранилища, а не только разработки отдельных загрузок.
Есть hands-on опыт Apache Spark, Flink и Kafka для real-time обработки, а также Hadoop-экосистемы — HDFS, Hive и YARN. Отдельно работал с оптимизацией Greenplum: настраивал Distribution Keys и снижал объём Motion между сегментами, поэтому понимает специфику MPP и performance optimization на уровне хранилища.
По ETL/ELT Алишер самостоятельно разрабатывал процессы сбора, очистки и загрузки данных, оркестрировал их через Airflow и участвовал в консолидации данных в корпоративном DWH. Есть опыт мониторинга production-процессов через Grafana и Prometheus, а также работы с ClickHouse и Superset.
Предыдущий аналитический опыт дополнительно усиливает понимание downstream-задач: разрабатывал и оптимизировал 50+ аналитических витрин и дашбордов, работал с SQL, A/B-тестами и качеством данных. За счёт этого хорошо понимает путь данных от источника и ETL до конечной аналитики.
Примеры работ
Гостиницы, рестораны, общепит, кейтеринг
- Разработал и внедрил ETL-процессы для автоматизации сбора, очистки и загрузки данных в хранилище, сократив время на рутинную подготовку отчётов.
- Настроил конвейеры обработки данных в реальном времени с использованием Apache Spark, Apache Flink и Kafka, обеспечив актуальность данных для downstream-систем.
- Участвовал в проектировании архитектуры Data Lake на базе Hadoop, организовывал слоистое хранение данных и управление жизненным циклом информации.
- Проектировал и реализовывал многослойные архитектуры хранилищ данных. Использовал подход Kimball (схема «Звезда») для создания высокопроизводительных витрин данных, что упростило написание SQL-запросов и ускорило построение BI-отчетов
- Оптимизировал тяжелые запросы в MPP-системе Greenplum: настраивал оптимальные Distribution Keys для обеспечения co-location данных, что позволило минимизировать дорогостоящие операции перемещения данных (Motion) между сегментами
- Внедрял методологию Data Vault 2.0 (Hubs, Links, Satellites) для центрального слоя (Core), обеспечив масштабируемость системы и возможность параллельной загрузки данных без нарушения существующих связей
- Использовал Airflow для автоматизации процессов ETL и консолидации корпоративных данных в единое хранилище (DWH)
Розничная торговля
- Разработал и оптимизировал более 50 аналитическиx витрин данных и дашборды для рядовых аналитиков и СРО, значительно повысив эффективность мониторинга данных.
- Проводил комплексные исследования (ad-hoc, сегментные, воронки, A/B тесты), выявлял аномалии в данных и устранял ошибки в отчётности.
- Оптимизировал SQL-запросы и автоматизировал отчётность, ускорив обработку данных и снизив затраты времени на регулярные задачи.
- Взаимодействовал с командами разработки и инженеров для совершенствования структуры данных, участвовал в планировании изменений и поддерживал коллег в решении рабочих задач.
- Разработал и внедрил ETL-процессы для автоматизации сбора, очистки и загрузки данных в хранилище, сократив время на рутинную подготовку отчётов.
- Использовал Airflow для автоматизации процессов ETL и консолидации корпоративных данных в единое хранилище (DWH)
Образование
Оставьте заявку и, наша команда в кратчайшие сроки подберёт необходимого специалиста за вас!
Помните, что заключение договора и оплата услуг происходит после того, как вы выбрали специалиста.
