Юрий К. , Senior, Data инженер

перенос загрузки данных в витрины BI-системы с прежней платформы на Hadoop/Hive с орекстрацией Oozie на новую платформу S3/Iceberg с орекстрацией Airflow

1. Перенос ETL--пайплайнов с Hadoop/Hive/Oozie на Spark+Airflow для загрузки данных в S3/Iceberg.
2. Создание на Spark+Airflow пайплайнов обратных реплик из S3/Iceberg в Hadoop/Hive (сохранение работоспособности прежней платформы на время завершения переноса).
3. Отправка через CI-CD на тестовой/продовый стенды и проверка работоспособности.
4. Обеспечение качества данных, их валидация и контроль целостности.
5. Ведение документации по пайплайнам и процессам ETL.
6. Участие в планировании задач, оценке сроков и распределении ресурсов внутри команды.
7. Взаимодействие с аналитиками и владельцами данных для уточнения требований и улучшения процессов обработки данных.
8. Создание расчётных процедур на SQL / PL/pgSQL для анализа данных.

создание платформы по анализу активности людей и сообществ в социальной сети ВКонтакте целью определения наиболее перспективных сообществ для рекламодателей.

1. Создание пайплайнов на Spark + Airflow для загрузки/выгрузки данных в/из Hdfs, Hive, ClickHouse, YT.
2. Создание расчётных пайплайнов наполнения данными витрин на Spark + Airflow по описанному аналитиком в ТЗ алгоритму.
3. Перенос кода-прототипа NLP-расчётов аналитиков (пример: определение тональности комментариев к посту) из Pandas на Spark для работы на кластере.
4. Участие в переезде с Hadoop/Spark в YT (перенос кода пайплайнов со Spark + Airflow на SPYT).
5. Разработка автоматических тестов и мониторинг для новых и существующих пайплайнов.
6. Обеспечение качества данных, их валидация и контроль целостности.
7. Ведение документации по архитектуре данных, пайплайнам и процессам ETL.
8. Участие в планировании задач, оценке сроков и распределении ресурсов внутри команды.
9. Обеспечение интеграции новых источников данных и расширение функциональности платформы.
10. Взаимодействие с аналитиками и разработчиками для уточнения требований и улучшения процессов обработки данных.
11. Создание расчётных процедур на SQL / PL/pgSQL для анализа данных.

Сбер. Сбор данных из разных систем-источников банка с приведением их в одну унифицированную форму для передачи дальше в аналитические системы в единообразном виде.

1. Создание пайплайнов на Spark на Scala для загрузки данных из ods-слоя в Hive в dds-слой в Hive.
2. Создание расчётных пайплайнов обогащения данных в dds-слое на Spark на Scala по описанному аналитиком в ТЗ алгоритму.
3. Загрузка справочников с мета-данными из PostgreSQL в Hive.
4. Разработка и оптимизация пайплайнов на Spark (Scala) для автоматической загрузки данных из различных систем-источников в ods-слой.
5. Создание расчётных пайплайнов для обогащения данных в dds-слое согласно бизнес-правилам и алгоритмам, описанным аналитиками.
6. Реализация автоматической загрузки и обновление справочников с мета-данными из PostgreSQL в Hive.
7. Обеспечение обработки и трансформации данных с использованием Data Vault модели для повышения качества аналитической базы.
8. Внедрение механизмов мониторинга и логирования для пайплайнов, что обеспечило их стабильную работу.
9. Разработка процедуры автоматического тестирования ETL-процессов и их интеграции в CI/CD.
10. Ведение документации по архитектуре данных, схемам и бизнес-правилам обработки.
11. Участие в планировании задач, оценке сроков и распределении работы внутри команды.
12. Обеспечение безопасности и контроль доступа к данным на всех этапах обработки.
13. Взаимодействие с аналитиками и бизнес-пользователями для уточнения требований к данным и улучшения процессов.

проект для Почты России. Создание централизованного аналитического хранилища для сбора данных ото всех почтовых отделений для предоставления сводной информации головному подразделению.

1. Создание пайплайнов на Spark на Scala конвертации данных из raw-слоя (данные в raw-слой приходили из внешней шины на Kafka, записывались в avro-формат) в ods-слой в Hive.
2. Поддержка и развитие генератора на Scala расчётных sql-скриптов для Hive.
3. Наполнение мета-данными в PostgreSQL настроечных таблиц для создания расчётных sql-скриптов.
4. Создание пайплайнов наполнения и обогащения данных из ods-слоя в dds-слой на основе этого генератора.
5. Выгрузка данных прежней версии хранилища из Greenplum в Hive на Spark на Scala.
6. Участие в переезде со Spark на Scala на PySpark + Airflow (перенос кода пайплайнов со Scala на Python, создание дагов для Airflow).
7. Обеспечение мониторинга и логирования всех этапов обработки данных для быстрого выявления и устранения ошибок.
8. Ведение документации по архитектуре, схемам данных и бизнес-правилам обработки для поддержки команды и дальнейшего развития системы.

создание платформы для мониторинга и анализа СМИ, соцсетей.и общественного мнения

1. Участие в качестве backend-разработчика Java в создании микросервисов web-портала для поиска аудиторий СМИ по различным показателям.
2. Создание микросервиса преобразования пользовательских запросов из web-портала в язык запросов ElasticSearch&.
3. Создание пайплайнов на Spark на Scala преобразования данных из промежуточного слоя в Hive и наполнения детального слоя в HBase.
4. Участие в поддержке и развитии расчётных пайплайнов на Spark на Scala в HBase, строящих профиль пользователя соцсетей, по алгоритмам аналитиков.
5. Наполнение итоговой базы данных полнотекстового поиска ElasticSearch из экосистемы сбора и анализа данных в Hadoop.