IT Staff

Никита М. , Middle+, Data инженер

Male avatar
Никита М.
Россия, Москва
2 070 ₽/час331 200 ₽/мес. без НДС
Опыт работы:
От 3 до 6 лет
Языки:

Английский — C1

ПисьменныйРазговорный

О специалисте

Навыки
Python
Pandas
Jupyter Notebook
Elasticsearch
Apache AirFlow
DBT
PySpark
PL/pgSQL
ETL
DWH
Data Vault 2.0
DataHub
Power BI
apache hive
Numpy
Clickhouse
GreenPlum
MS SQL
Apache Spark
Apache Kafka
Hadoop
Kimball
SCD
SLA
Superset
Technology:
SQL
REST API
Database:
PostgreSQL
Oracle
MongoDB
Applications:
Docker
Формат работы
Удалённо
Описание о специалисте

Data Engineer Middle+: проектирую DWH и ETL/ELT под аналитику и ИИ-агентов. Работал с объёмами ~50 млн записей в сутки, контролем качества и SLA. English C1. Использую Apache Airflow, Apache Spark, Apache Kafka, PostgreSQL и ClickHouse для построения надёжных пайплайнов и DWH. Владею SQL и Python как основным стеком для построения аналитических платформ и пайплайнов данных.

Примеры работ

Агентская платформа данных парка развлечений
Позиция на проекте
Full Stack Data Analyst/Data Engineer
Ответственность
  1. Спроектировал доменный DWH на PostgreSQL («1 домен - 1 DWH») с единым ETL/ELT для сервисов, HR, маркетинга и CJM.
  2. Разграничил доступ ИИ-агентов к данным через MCP, RLS и Kerberos.
  3. Развернул маркетинговый RAG на DataHub для ad-hoc запросов Qwen в OpenWebUI.
  4. Сопровождал Airflow-пайплайны и Linux-контур с CI/CD и GitOps, обеспечивая непрерывную доставку изменений и стабильную работу продакшен-контур.
  5. Собрал CLI для прототипирования моделей и переноса Power BI Report Server из dev в prod, что ускорило релизы отчётности и снизило ручные операции при переносе между средами.
  6. Реализовал REST API для доступа внешних сервисов и ИИ-агентов к данным через RLS и Kerberos.
Технологии и инструменты
Apache AirFlow, Apache Spark, CI/CD, DataLens, Elasticsearch, Gitea, gitOPS, Grafana, Hashicorp Vault, Jupyter, kerberos, Linux, MinIo, MongoDB, PostgreSQL, Power BI, RLS, RAG, MCP, Qwen, DataHub, OpenWebUI
Период работы/продолжительность
Май 2026 - Июль 2026
BI-платформа лизинговой компании
Позиция на проекте
Data Engineer / System Analyst
Ответственность
  1. Спроектировал DWH на PostgreSQL и ClickHouse по Data Vault 2.0 с SCD; консолидировал Excel, 1С и оперативные БД.
  2. Собрал пайплайны Airflow + dbt с инкрементальной загрузкой и SLA (~50 млн записей/сутки).
  3. Настроил доставку событий Kafka и логов ELK в DWH; задержка обновления до 5 минут.
  4. Добавил проверки качества данных (аудит, дедуп, freshness); доля ошибочных записей снизилась на 30%.
  5. Оптимизировал SQL-витрины; ускорял отчётность вместе со Spark и Java-сервисами.
  6. Формализовал KPI и бизнес-глоссарий; описал требования к данным в Confluence.
  7. Анализировал требования к интеграциям источников и API между DWH и смежными системами.
Технологии и инструменты
Apache AirFlow, Apache Kafka, Apache Spark, Clickhouse, Confluence, DBT, Git, Java, PostgreSQL, Power BI, SCD, Data Vault 2.0, JupyterHub
Период работы/продолжительность
Март 2025 - Апрель 2026
Аналитическая платформа продуктовой аналитики
Позиция на проекте
Data Engineer
Ответственность
  1. Развернул stage-контур на Hadoop, Spark и Airflow; написал ETL из Oracle, MS SQL и ELK в DWH.
  2. Администрировал JupyterHub в Kubernetes и обучал аналитиков работе с пайплайнами.
  3. Провёл когортный анализ, сегментацию и A/B-тесты продуктовых метрик.
  4. Разработал ML-прототипы для оценки LTV, конверсии и удержания; строил дашборды в Superset.
  5. После оптимизации Spark время и стоимость прогонов снизились примерно на 25%.
  6. Описал архитектуру данных и стандарты разработки в Confluence.
  7. Выполнял анализ продуктовых метрик, воронок и когорт для выводов и рекомендаций.
Технологии и инструменты
Confluence, Docker, Git, Hadoop, Kubernetes, MS SQL, Oracle, Pandas, Python, SciPy, Spark, SQL, Superset, Airflow, JupyterHub
Период работы/продолжительность
Июль 2024 - Декабрь 2024
Telegram-бот для VL-классификаторов
Позиция на проекте
ML-инженер
Ответственность
  1. Спроектировал Telegram-бота для доступа к VL-классификаторам с инференсом в реальном времени.
  2. Собирал требования и тестовые артефакты; проверял качество распознавания SQL к Greenplum.
  3. Настроил ETL и мониторинг метрик моделей в Mlflow; анализировал дашборды в Superset для контроля метрик моделей.
  4. Интегрировал Kafka для потоковой передачи событий и логирования взаимодействий.
  5. Применял NumPy для векторизованной обработки логов и агрегации метрик при поиске аномалий.
Технологии и инструменты
Apache AirFlow, Docker, Git, GreenPlum, Kafka, MLflow, Pandas, Python, SQL, Superset, Telegram Bot API
Период работы/продолжительность
Декабрь 2023 - Май 2024
Тестировщик
Позиция на проекте
Тестировщик
Ответственность
  1. Протестировал функциональность приложений при модернизации legacy-систем на стек .NET Core и React, выявляя дефекты до релиза.
  2. Проверил совместимость при переносе кода с VB6 и Classic ASP на целевые платформы .NET 6 и Spring Boot.
  3. Задокументировал найденные дефекты и координировал их устранение с командой разработки.
  4. Разработал тест-кейсы для проверки функций рехостинга и рефакторинга приложений.
  5. Автоматизировал регресс-тестирование с помощью скриптов на Python и настройкой тестовых окружений через Ansible, ускорив прогон регрессионных тестов.
Технологии и инструменты
.NET 6, .NET Core, Ansible, Python, React, Spring Boot, VB6, Classic ASP
Период работы/продолжительность
Сентябрь 2021 - Апрель 2022

Образование

Высшее
Название учебного заведения/курса
Национальный исследовательский технологический университет "МИСиС"
Специальность
Автоматизация Систем Управления, Информатика и вычислительная техника
Не нашли, кого искали?

Оставьте заявку и, наша команда в кратчайшие сроки подберёт необходимого специалиста за вас!

Помните, что заключение договора и оплата услуг происходит после того, как вы выбрали специалиста.

Request Poster