Дмитрий П. , Senior, Data инженер

Дмитрий П.

3 105 ₽/час 496 800 ₽/мес. без НДС

Data инженер
Senior
Middle+

Опыт работы:: От 3 до 6 лет
Языки:: Английский — B1
ПисьменныйРазговорный

Навыки

Technology:

SQL

Python

PySpark

GreenPlum

Clickhouse

impala

Windows

Linux

PyCharm

Apache AirFlow

Apache Spark

Apache Kafka

Git

Grafana

DBT

Apache Iceberg

Parquet

Hadoop HDFS

Database:

PostgreSQL

MySQL

Instruments:

VS code

Applications:

Docker

Формат работы

Удалённо

Описание о специалисте

Data Engineer с опытом 3+ лет в разработке и оптимизации ETL/ELT-пайплайнов. Проектирую и сопровождаю хранилища данных, витрины для аналитики. Работал в ритейле, IT, госсекторе и с финансовыми данными. Владею Apache Spark (PySpark), Airflow, Kafka, Greenplum, Clickhouse. Постоянно улучшаю производительность БД и pipelines. Легко осваиваю новые технологии и эффективно работаю в команде.

Сертификаты:

Основы физического дизайна и оптимизация баз данных Greenplum

Программирование на языках pgSQL и PL/pgSQL

Расширенные возможности языка pgSQL

Миграция и оптимизация данных на Iceberg + S3

Описание задачи/проекта

Проект по миграции крупных объёмов данных в озеро данных на базе Apache Iceberg и S3. Разработал высокопроизводительные ETL/ELT-пайплайны на PySpark с автоматическим обновлением витрин через DBT и SparkSQL. Настроил оркестрацию в Airflow (DAG-и для миграции и трансформации). Результат: снижение времени обработки на 30%, переход на актуальное хранилище.

Позиция на проекте

Старший разработчик

Размер команды

11 разработчиков + 8 аналитиков

Ответственность

Разработка высокопроизводительных ETL/ELT-пайплайнов на PySpark
Настройка оркестрации в Airflow
Снижение времени обработки на 30%

Технологии и инструменты

Apache AirFlow, Apache Spark, DBT, Git, impala, S3, Parquet, Apache Iceberg

Период работы/продолжительность

Январь 2026 г. - Июль 2026 г.

Потоковая обработка и мониторинг данных в ритейле

Описание задачи/проекта

Разработка пайплайнов для интеграции потоковых данных из Kafka в системы отчётности. Оптимизировал существующие Spark-приложения и SQL-запросы (PostgreSQL, Greenplum). Реализовал дашборды в Grafana для мониторинга производительности pipelines. Достигнуто ускорение обработки на 25%, снижена нагрузка на БД.

Позиция на проекте

Data Engineer

Размер команды

4 инженера данных + 3 аналитика

Ответственность

Разработка пайплайнов для интеграции потоковых данных
Оптимизация Spark-приложений и SQL-запросов
Реализация дашбордов в Grafana

Технологии и инструменты

Apache AirFlow, Apache Kafka, Apache Spark, Clickhouse, Grafana, GreenPlum, PostgreSQL

Период работы/продолжительность

Июнь 2025 г. - Декабрь 2025 г.

Витрины данных и ETL для госсектора

Описание задачи/проекта

Cпроектировал и реализовал ETL-пайплайны на Apache Spark для обработки данных потребителей (Госэнергогазнадзор). Разработал витрины данных и дашборды в Clickhouse. Настроил оркестрацию в Airflow, автоматизировал тестирование PL/pgSQL-функций в Docker. Интегрировал данные в веб-сервисы. Обеспечена надёжная отчётность и снижение ручного труда.

Позиция на проекте

Инженер данных

Размер команды

5 разработчиков + 1 администратор БД

Ответственность