Мария Б. , Middle, Data инженер

Работаю в команде автоматизации отчётности по процессу секьюритизации.

1. Разработала 30+ ETL/ELT-пайплайнов на Python и Apache Airflow для загрузки данных из 5+ источников (Kafka, PostgreSQL, CSV, S3, Hadoop) в корпоративное DWH на базе Greenplum и Clickhouse, покрывающих суточный объём 10+ млн событий и обеспечивающих актуальной аналитикой команды аналитиков и риск-менеджмента.
2. Оптимизировала процесс подготовки данных для отчётности по секьюритизации: переработала тяжёлые SQL-запросы в Greenplum, добавила партиционирование по дате, раннюю фильтрацию и промежуточную агрегированную витрину вместо многократного обращения к исходным таблицам, сократив время формирования итогового набора данных с 3 часов до 12 минут.
3. Внедрила систему Data Quality в Airflow-пайплайны: добавила SQL-проверки на NULL, дубликаты и выбросы при загрузке в RAW-слой Greenplum, настроила email-alerting, сократив количество инцидентов в отчётности с ~8 до 1–2 в месяц.
4. Разработала 15+ аналитических витрин в ClickHouse для финансовых и риск-аналитиков: применила MergeTree, оптимальные ORDER BY-ключи, месячное партиционирование и materialized views, ускорив выполнение дашбордов в Apache Superset с 40 до 2–3 секунд.
5. Разработала и внедрила новый отчёт по процессу секьюритизации: проанализировала бизнес-требования и источники данных, реализовала расчётную логику и ETL-процесс на SQL, добавила автоматические проверки качества данных и встроила расчёт в Apache Airflow, сократив объём ручной подготовки данных и обеспечив полностью автоматизированное формирование отчётности без ручной сборки данных.

1. Автоматизировала запуск и управление расчётами витрин данных, реализовав DAG потоки в Apache Airflow с обработкой отказов, retry-механизмами и алертингом, что обеспечило стабильность ночных загрузок и сократило ручное вмешательство примерно на 40%.
2. Перепроектировала структуру хранения в ClickHouse, внедрив эффективные стратегии партиционирования и оптимизировав первичные ключи Primary Key, что сократило время сборки витрин в 2 раза и значительно увеличило throughput при чтении.
3. Спроектировала и реализовала перенос логики формирования витрин из Excel/VBA на современный стек (PostgreSQL + Airflow + Superset), автоматизировав расчёты и устранив ручные ошибки.
4. Разработала высоконагруженные аналитические витрины на ClickHouse для расчёта KPI логистики и e-commerce, обеспечив обработку объёмов до 1.5 млрд строк с применением инкрементальных загрузок и дедупликации.
5. Документировала объекты и поддерживала данные: обновила потоки в 5 Data Mart в Clickhouse, задокументировала процессы в Confluence и построила Data Lineage для каждого пайплайна. Определила ключевые источники и выставила SLA. Это ускорило последующую разработку и упростило поддержку в том числе пайплайнов ML-моделей.