Алексей Ч. , Senior, Data инженер

Высоконагруженная data-платформа для обработки и анализа финансовых данных с целью расчёта рисковых метрик, выявления аномалий и подготовки регуляторной отчётности. Система объединяет данные из различных источников, обеспечивает потоковую и пакетную обработку и поддерживает SLA для критически важных расчётов.

1. Реализация интеграционных потоков в режиме real-time через Apache Kafka и Spark Structured Streaming (producer/consumer, offset management, window-агрегации, watermarking, exactly-once / at-least-once семантика).
2. Проектирование и реализация отказоустойчивых ETL/ELT-пайплайнов в Apache Airflow (регламентные процессы расчёта витрин, контроль SLA, управление зависимостями).
3. Обработка терабайтов данных в экосистеме Hadoop (HDFS, YARN) с использованием Apache Spark (PySpark, Scala).
4. Создание и оптимизация аналитических витрин в ClickHouse и PostgreSQL (партиционирование, индексы, оконные функции, CTE, анализ execution plan).
5. Реализация процессов загрузки и обновления данных в PostgreSQL (bulk insert, upsert, транзакционная целостность).
6. Реализация DQ-процессов (валидация полноты, корректности, уникальности данных), автоматическая блокировка публикации витрин при ошибках.
7. Реализация системы алертинга и оповещений при нарушении SLA, DQ-инцидентах и сбоях загрузки.
8. Внедрение практик DataOps: CI/CD (Jenkins), версионирование в Git, автоматизированное тестирование и контроль качества данных.
9. Мониторинг пайплайнов и кластера (Grafana, Prometheus), обеспечение стабильности работы платформы.
10. Документирование архитектуры и потоков данных в Confluence.

Разработка и сопровождение хранилищ данных и ETL-процессов для проектов финансового и управленческого консалтинга. Платформа обеспечивала интеграцию данных из разнородных источников, автоматизацию бизнес-логики и подготовку аналитических отчётов для клиентов.

1. Проектирование и оптимизация реляционных БД (MS SQL, PostgreSQL), нормализация и проектирование схем.
2. Разработка и рефакторинг хранимых процедур, функций, триггеров; оптимизация SQL-запросов (индексы, CTE, временные таблицы).
3. Реализация ETL-процессов в Apache NiFi, автоматизация миграции и трансформации данных.
4. Интеграция данных из API, файловых источников и внешних БД.
5. Автоматизация расчётов и обработки данных на Python (Pandas, NumPy).
6. Настройка Git-workflow, контроль версий ETL-конфигураций и SQL-скриптов.
7. Поддержка и мониторинг пайплайнов, устранение инцидентов в продакшене.