Алексей К. , Lead, DWH разработчик
- DWH разработчик
- Lead
- Опыт работы:
17 лет
- Языки:
Английский — C1
ПисьменныйРазговорный
О специалисте
Опыт работы: 17 лет 7 месяцев. Навыки: MS SSIS, MS SQL, SQL, OLAP, DWH, ETL, Hadoop, Big Data, Data Lake, Data Vault, MS Azure, Yandex.Cloud, Работа с базами данных, Jupyter Notebook, Apache Spark, Apache Airflow, Apache Hive, Greenplum, Lakehouse, PostgreSQL, ORACLE, Python, Git, Apache Kafka, Scala, Docker.
Сертификаты:
Основы Managed Greenplum 2025-01-01 (Яндекс Практикум)
Инженер облачных сервисов 2022-01-01 (Яндекс Практикум)
AWS S3 Basics 2022-01-01 (Coursera)
Microsoft Azure Databricks for Data Engineering 2021-01-01 (Coursera)
Perform data science with Azure Databricks 2021-01-01 (Coursera)
Data Engineer 2020-01-01 (Отус Онлайн-Образование)
Data Engineer 2020-01-01 (NewProLab)
Hadoop. Система для обработки больших объемов данных 2019-01-01 (@mail.ru group, stepik.org)
Погружение в оптимизацию SQL поверх больших данных 2019-01-01 (Luxoft)
Погружение в оптимизацию Spark 2019-01-01 (Luxoft)
Погружение в оптимизацию распределенных хранилищ 2019-01-01 (Luxoft)
IBM Infosphere Advanced DataStage – Parallel Framework v11.5 2017-01-01 (УЦ КУДИЦ, IBM InfoSphere DataStage)
IBM InfoSphere Information Server for Data Integration Fundamentals Technical 2017-01-01 (Pearson VUE, IBM InfoSphere DataStage)
QlikView 11 Designer/QlikVew 11 Developer 2012-01-01 (QlikTech)
IBM Certified Specialist Cognos BI 2011-01-01 (Prometric, IBM Cognos BI)
IBM Certified Developer - Cognos BI Metadata Models 2010-01-01 (Prometric, IBM Cognos BI)
Примеры работ
Проект по разработке витрин данных домена CRM: оптимизация производительности хранимых процедур для расчета существующих витрин; разработка хранимых процедур для расчета новых витрин.
- оптимизация производительности хранимых процедур для расчета существующих витрин;
- разработка хранимых процедур для расчета новых витрин.
Проект по разработке прототипа интеграции с Yandex AppMetrica: анализ протокола получения данных о событиях от сервиса Yandex AppMetrica; разработка трансформаций и заданий (jobs) в Pentaho Data Integration для отправки запросов в Yandex AppMetrica и получения данных.
- анализ протокола получения данных о событиях от сервиса Yandex AppMetrica;
- разработка трансформаций и заданий (jobs) в Pentaho Data Integration для отправки запросов в Yandex AppMetrica и получения данных.
Проект по разработке решения для реконсиляции (сверки) данных между основной учетной системой и продуктовыми системами (витрины расхождений): проработка решения по расчету витрин на Hadoop/Hive/Spark/SQL; миграция логики расчета существующих витрин из Greenplum на Hadoop/Hive/Spark/SQL; разработка логики расчета новых витрин на Hadoop/Hive/Spark/SQL; разработка DAGов в Airflow для оркестрации запуска расчетов витрин.
- проработка решения по расчету витрин на Hadoop/Hive/Spark/SQL;
- миграция логики расчета существующих витрин из Greenplum на Hadoop/Hive/Spark/SQL;
- разработка логики расчета новых витрин на Hadoop/Hive/Spark/SQL;
- разработка DAGов в Airflow для оркестрации запуска расчетов витрин.
Проект по разработке NRT ETL-пайплайна для загрузки данных из MDM системы в КХД: анализ проблемы с производительностью существующего решения на Kafka/Spark Streaming; рефакторинг существующего решения и миграция потоковой обработки (консьюмера Kafka) со Spark Streaming на Kafka Connect JDBC Sink Connector; достигнута требуемая пропускная способность потока и минимальная задержка при поступлении данных в КХД; реализовано решение "no-code" (только за счет конфигурирования сервиса Kafka Connect).
- анализ проблемы с производительностью существующего решения на Kafka/Spark Streaming;
- рефакторинг существующего решения и миграция потоковой обработки (консьюмера Kafka) со Spark Streaming на Kafka Connect JDBC Sink Connector;
- достигнута требуемая пропускная способность потока и минимальная задержка при поступлении данных в КХД;
- реализовано решение "no-code" (только за счет конфигурирования сервиса Kafka Connect).
Проект по разработке NRT ETL-пайплайна для загрузки данных из 1С в Lakehouse и КХД: анализ проблемы с производительностью существующего решения; рефакторинг и оптимизация кода, тюнинг процессов Spark Streaming; доработка кода для миграции формата хранения с Delta Lake на Hudi и Iceberg; тюнинг форматов хранения Hudi и Iceberg.
- анализ проблемы с производительностью существующего решения;
- рефакторинг и оптимизация кода, тюнинг процессов Spark Streaming;
- доработка кода для миграции формата хранения с Delta Lake на Hudi и Iceberg;
- тюнинг форматов хранения Hudi и Iceberg.
Образование
Оставьте заявку и, наша команда в кратчайшие сроки подберёт необходимого специалиста за вас!
Помните, что заключение договора и оплата услуг происходит после того, как вы выбрали специалиста.
