Даниэль К. , Middle+, Data инженер

ООО "ИТМ" (MagnitTech) - ИТ-компания группы "Магнит". Осуществляет разработку и поддержку ИТ-решений для группы компаний "Магнит". Участвовал в разработке и поддержке высоконагруженной платформы данных системы автозаказа F&R (команда пополнения товарных запасов), готовил витрины и наборы данных для команд DS/ML. Работал в роли ведущего разработчика в команде из трёх разработчиков, аналитика и техлида. Разработка велась по Scrum

1. Разрабатывал и оптимизировал ETL/ELT-пайплайны на PySpark (batch и streaming) для витрин Data Lake.
2. Орекстрировал в Apache Airflow: DAG, автоматизация загрузок, контроль качества данных (Data Quality).
3. Эксплуатация платформы в Yandex Cloud: S3, Kubernetes, конфигурация приложений и доступов, взаимодействие с DevOps по CI/CD.
4. Потоковая обработка событий из Apache Kafka с идемпотентной загрузкой в Apache Iceberg.
5. Мониторинг и разбор инцидентов в Spark/Kubernetes: анализ логов, поиск узких мест производительности.

АО «ПРОГРЕСС» (бренд «Фрутоняня») - крупный российский холдинг, один из лидеров по производству детского питания. Участвовал в развитии корпоративного хранилища данных (DWH), разработке ETL-процессов и аналитических витрин для BI-систем.

1. Разрабатывал и оптимизировал ETL/ELT-пайплайны на Apache Airflow для загрузки данных в DWH.
2. Интегрировал источники: REST API, FTP, NFS, S3, MS SQL Server, PostgreSQL; оркестрация загрузок.
3. Разработка отчетности на базе Power BI
4. Аналитические витрины для BI на ClickHouse и PostgreSQL.
5. Контроль качества данных (Data Quality), мониторинг ETL-процессов.