Армен Е. , Middle, Data инженер

проект в сфере ритейла

1. Разработка и поддержка ETL/ELT-процессов: Полный цикл создания, развертывания и мониторинга надежных и масштабируемых пайплайнов с использованием Apache Airflow.
2. Базы данных и API: Глубокое понимание и работа с PostgreSQL (сложные запросы, оптимизация).
3. Построение витрин в clickhouse.
4. Интеграция данных через REST API.
5. Автоматизация: Автоматизация рутинных процессов на Python, работа в Linux консоли.
6. Развитие двх,
7. забор данных по api для дальнейшего анализа,
8. автоматизация рутины для аналитиков, создание дата сетов для них
9. Оптимизация производительности ETL-пайплайнов в Airflow для обработки данных о товарных остатках,
10. Проектирование и реализация системы мониторинга качества данных (Data Quality) для ключевых витрин в ClickHouse, включая автоматические проверки на полноту, консистентность и актуальность данных с алертированием в Slack.
11. Разработка и поддержка библиотеки внутренних утилит на Python для стандартизации и ускорения работы команды инженеров и аналитиков (шаблоны подключения к API, часто используемые трансформации, загрузка в витрины).

проект в сфере финтех

1. Разработка и поддержка ETL/ELT-процессов: Полный цикл проектирования, разработки и оптимизации пайплайнов с использованием Apache Airflow.
2. Обеспечение надежности, отказоустойчивости и эффективной загрузки больших объемов данных.
3. Использование Python для автоматизация рутинных задач и обработки данных.
4. База данных Postgre: написание сложных запросов, оптимизация производительности.
5. развитие двх,
6. написание процедур sql, ad hoс запросы.
7. Тестирование витрин данных,
8. проведение процедуры код ревью
9. Разработка и внедрение набора готовых DAG-шаблонов в Airflow для стандартизации процесса создания новых ETL-задач (загрузка из API, инкрементальное обновление, обработка файлов)
10. Создание и автоматизация процесса мониторинга SLA ключевых бизнес-витрин с алертами в Telegram-чат команды при нарушении сроков актуализации данных.
11. Оптимизация работы аналитических запросов к витринам за счет редизайна схемы данных, создания материализованных представлений и стратегического индексирования

курирование выездного сбора по адресам к должникам.

1. Анализ эффективности процессов сбора просроченной задолженности через запросы в базу данных PL/SQL, внесение предложений по их оптимизации
2. Подготовка аналитической отчетности, презентационных материалов на комитеты Банка
3. Анализ и мониторинг портфеля просроченной задолженности
4. Разработка стратегий сбора просроченной задолженности на всех этапах
5. Внедрение новых инструментов в процессы сбора
6. Разработка и поддержание отчетности
7. Разработка и поддержание системы мотивации службы по работе с проблемными активами и входящих в нее подразделений
8. Перенос отчетности, построенной на одном КХД, на источники нового КХД
9. Тестирование реализованных витрин, проведение сверок данных, анализ несоответствий
10. Разработка процедур на Oracle

проект в сфере e-commerce

1. Разработка и сопровождение ETL/ELT : Полный цикл создания, развертывания и мониторинга потоков данных с использованием SSIS.
2. MS SQL Server (написание запросов, хранимые процедуры,cte,временные таблицы, функции, триггеры)
3. Работа с Linux-окружением (базовые команды)
4. Разработка отчетов SSRS
5. Проектирование и реализация системы обработки потоковых данных о событиях пользователей (клики, просмотры, добавления в корзину) с использованием Change Data Capture (CDC) в MS SQL Server для последующей загрузки в аналитическую витрину.
6. Оптимизация производительности и надежности критических ETL-пакетов SSIS за счет рефакторинга, внедрения эффективных паттернов обработки ошибок и логирования, а также настройки параллельного выполнения задач.
7. Создание и поддержка централизованного хранилища метаданных для отслеживания происхождения данных, бизнес-правил трансформации и актуальности информационных активов.
8. Интеграция данных из внешних маркетинговых сервисов через их API и консолидация с внутренними транзакционными данными в едином хранилище.