Владислав М. , Middle, Data инженер
- Data инженер
- Middle
- Опыт работы:
- От 3 до 6 лет
- Языки:
Английский — B2
ПисьменныйРазговорный
О специалисте
Имеет практический опыт разработки и сопровождения ETL/ELT-процессов для корпоративных хранилищ данных: работал с потоками из OSS/BSS-систем, включая CDR, UDR, биллинг и CRM-источники, строил витрины для аналитики абонентской активности и финансовых показателей. Работал с современным Big Data стеком: S3, Iceberg, Spark, Airflow, Kafka, Greenplum, ClickHouse и Trino, включая миграцию с Greenplum на Lakehouse-архитектуру.
В рамках проектов самостоятельно занимался оптимизацией SQL-запросов, Spark-трансформаций и витрин, что позволило значительно сократить время формирования отчётности. Также имеет опыт внедрения проверок качества данных, мониторинга пайплайнов и поддержки production-процессов, что соответствует задачам по стабильной эксплуатации интеграционных потоков.
Опыт работы: 3 года 3 месяца.
Примеры работ
Информационные технологии, системная интеграция, интернет
- Разработка и сопровождение batch-ETL загрузки телеком-данных из OSS/BSS систем (CDR, UDR, биллинг, CRM) в корпоративное хранилище данных
- Работа с корпоративным хранилищем данных на базе S3 для хранения сырых данных, ClickHouse и Greenplum для аналитической обработки и построения витрин, PostgreSQL для справочников и сервисных таблиц
- Построение аналитических витрин по абонентской активности, услугам и финансовым показателям
- Разработка и построение прототипов моделей: подготовка и препроцессинг данных, загрузка из различных источников для аналитики и машинного обучения
- Построение стриминг процессов для перекладки и сохранения сырых данных из Kafka
- Оркестрация и мониторинг пайплайнов обработки данных в Airflow
- Оптимизация SQL-запросов, витрин в ClickHouse и PostgreSQL, Spark трансформаций
- Контроль качества данных и сопровождение существующих ETL-процессов
- Миграция с Greenplum на Lakehouse(S3+iceberg)
Информационные технологии, системная интеграция, интернет
- Продуктивизация витрин данных и разработка интеграций с источниками на основе архитектурных концепций, обеспечение надёжной передачи данных
- Разработка ETL-пайплайнов для загрузки и трансформации данных в слоях Raw, Core и Mart с последующей продуктивизацией
- Автоматизация и оркестрация процессов по внутренним стандартам в Airflow
- Сопровождение существующих ETL-процессов
- Изучение и внедрение подходов к повышению качества и надёжности данных
- Поддержка и развитие внутренней базы знаний
Оставьте заявку и, наша команда в кратчайшие сроки подберёт необходимого специалиста за вас!
Помните, что заключение договора и оплата услуг происходит после того, как вы выбрали специалиста.
