Владимир В. , Senior, Data инженер

Занимались переносом старых батчевых отчетов на real-time, выбор архитектуры, ETL-загрузки, подключение новых источников, написание витрин.

1. Разработал и внедрил архитектуру near real-time отчетности для транзакционной системы криптоплатежей, обеспечив задержку обработки данных < 1 минуты.
2. Провел R&D стриминговых решений: сравнил подходы на базе Apache Flink и нативной связки ClickHouse (Materialized Views) + Kafka Engine, в результате чего выбрал второе решение для снижения инфраструктурных затрат и упрощения пайплайнов.
3. Организовал ETL/ELT-процессы в Apache Airflow (Python): настроил DAG-и для оркестрации, мониторинга и обработки сбоев при построении витрин данных.
4. Разработал Materialized Views (MV) и агрегационные движки в ClickHouse для моментальной агрегации транзакций, исключив необходимость в тяжелых ad-hoc запросах.
5. Разработал ролевую модель (RBAC) и систему ограничения доступа на уровне строк (Row-Level Security). Оптимизировал затраты на лицензирование BI-инструментов, сократив количество необходимых платных пользовательских лицензий на 70% за счет внедрения ролевой консолидации и shared-аккаунтов, при этом четко разграничив доступ к чувствительным платежным данным через RBAC.

Проект и задачи были обширные, проработка архитектуры, модели данных, интеграции с источниками, ETL-загрузки, написание витрин. Весь перечень работ инженера данных.

1. Спроектировал и разработал полнофункциональную ETL/ELT-систему на Dagster и DBT для интеграции 10+ источников (PostgreSQL, MySQL, Oracle, API, файлы) в единый DWH, уложившись в строгий ETL-окно ≤3 часов, включая трансформации и DQ-проверки.
2. Внедрил near real-time отчётность с использованием Debezium (Change Data Capture) и потоковой передачи в ClickHouse, что позволило бизнесу сократить лаг данных и повысить скорость принятия решений аналитиками.
3. Оптимизировал критичные SQL-запросы и архитектуру DWH (добавил индексы, стратегию партиционирования, денормализацию для витрин), сократив время построения аналитических витрин в 2 раза и значительно снизив нагрузку на базы данных.
4. Разработал и внедрил систему комплексного мониторинга и алертинга ETL-процессов (интеграция Dagster с логированием, метриками и уведомлениями), что исключило появление незамеченных сбоев и сократило время реакции на инциденты с нескольких часов до 5–15 минут.
5. Реализовал фреймворк Data Quality с метриками, SLA, автоматическими проверками и уведомлениями, что повысило надёжность данных, уменьшив количество критичных ошибок в отчётности на 70%.
6. Внедрил Data Hub как централизованный каталог данных с полным Data Lineage от источников до BI-отчётов, что сократило время поиска данных аналитиками и ускорило онбординг новых сотрудников в 3 раза.
7. Разработал стратегию развития DWH, включая стандарты именования и структурирования таблиц, правила документирования, CI/CD-процесс для ETL и подход к тестированию пайплайнов.
8. Разработал и внедрил кастомное решение для маскирования персональных данных в тестовых средах, что сэкономило компании ~50 000 USD на лицензиях коробочных решений (Delphix) и обеспечило 100% покрытие тестовых баз данных.
9. Проводил собеседования, участвовал в формировании состава команды Data Engineer и проведении технических интервью.

Работал в двух командах - загрузки данных с источников, core команда, где занимались разработкой ETL-фреймворка второй версии.

1. В составе core-team участвовал в разработке внутренних ETL-инструментов и фреймворков, включая генерацию пайплайнов, переиспользуемые шаблоны DAG'ов и стандартные операторы, что сократило time-to-market новых загрузок данных.
2. Написал и оптимизировал многочисленные ETL/ELT-процессы на Airflow для загрузки данных из различных источников в Greenplum, обеспечивая соответствие SLA и качество данных.
3. Оптимизировал критичные хранимые SQL-процедуры и запросы в Greenplum/Oracle, снизив риск нарушения SLA.
4. Участвовал в минорной миграции Apache Airflow, включая планирование, тестирование существующих пайплайнов на новой версии и координацию релиза без downtime критичных процессов.
5. Участвовал в онбординге новых сотрудников, помогал в разработке внутренней документации и стандартов.

Разрабатывал MVP и прототипы веб-сервисов на базе математических алгоритмов нечёткой логики в сотрудничестве с профессором Воронежского государственного университета.

1. Занимался парсингом, обработкой и валидацией данных, написанием DDL/DML-запросов, интеграцией с PostgreSQL и MySQL.
2. Имею опыт общения с заказчиками, понимания бизнес-требований, написания технической документации и построения моделей данных.