Андрей К., Middle, Data инженер

Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных. Система анализирует транзакции с использованием данных о клиентах, их картах, местах проживания и истории звонков

1. Разработка и оптимизация структуры баз данных, написание сложных SQL- и pgSQL-запросов для обработки и анализа данных
2. Разработка и поддержка систем обработки потоковых данных с использованием Apache Kafka
3. Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow для автоматизации потоков данных
4. Работа с различными источниками данных, включая реляционные базы данных, Hadoop HDFS, веб-сервисы и логи приложений
5. Использование Hadoop, Hive, Hue для обработки и анализа больших объемов данных
6. Построение производных таблиц и витрин в GreenPlum для удовлетворения бизнес-требований по аналитике
7. Реализация механизмов валидации и верификации данных для обеспечения высокого качества и надежности данных
8. Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence
9. Ведение и декомпозиция задач в Jira
10. Тесное сотрудничество с аналитиками данных, разработчиками и бизнес-пользователями для определения требований к данным и решения бизнес-задач
11. Создал и оптимизировал процессы загрузки и обработки данных, что значительно повысило производительность системы и ускорило время обработки транзакций для обнаружения мошенничества
12. Предложил и внедрил автоматизацию повторяющихся процессов, таких как регулярное обновление и очистка данных, что снизило время на рутинные задачи и повысило общую эффективность команды

Проект направлен на создание надежных сервисов и программ лояльности для клиентов учреждений

1. Разработка приложений и микросервисов на Ruby и Python
2. Написание юнит-тестов и проведение тестирования.
3. Создание визуальных дашбордов на Grafana
4. Реализован сбор статистики с помощью Prometheus/Grafana
5. Создал собственную библиотеку для Ruby (https://rubygems.org/gems/freight_calc)

Цели проекта - Разработка платформы для безопасного и надежного управления финансовыми операциями, интегрирующей различные сторонние системы и оптимизирующей выплаты продавцам на торговых площадках

1. Создал промежуточные таблицы в Greenplum для хранения очищенных и трансформированных данных
2. Использовал ClickHouse для хранения и анализа больших объемов данных в реальном времени
3. Разработал триггеры для выявления исключительных ситуаций на основе заданий от дата-аналитиков
4. Создал и поддерживал актуализированную проектную документацию, технические спецификации и пользовательские руководства в Confluence
5. Разработал проверку и тестирование кода в GitLab CI/CD, что позволило сократить количество ошибок при релизах новой версии ETL процессов. Сотрудничал с командой, использовал GitLab для управления кодом и совместной работы
6. Участвовал в разработке документации по переносу витрин из PostgreSQL в ClickHouse

Цели проекта - Разработка хранилища данных для анализа статистики роста цен на жилье и прогнозирования объемов продаж жилых помещений. Также анализ рыночной стоимости первичного, вторичного и тд жилья. Анализ себестоимости расходных материалов.

1. Разработка Backend часть приложения, включая автотесты
2. Проводил нагрузочное и интеграционное тестирования
3. Рефакторинг и оптимизация запросов и скриптов для повышения производительности хранилища данных.
4. Разработал процессы для интеграции DWH с API и загрузки данных из файлов
5. Создал и поддерживал актуализированную проектную документацию, технические спецификации и пользовательские руководства в Confluence
6. Использовал CI/CD Gitlab для контроля версий
7. Проектирование и внедрение решений для улучшения масштабируемости и отказоустойчивости хранилища данных.
8. Консультирование аналитиков и исследователей данных по вопросам работы с хранилищем данных и интеграции новых источников данных.
9. Решение вопросов технического сопровождения и обеспечение бесперебойной работы хранилища данных.
10. Мои достижения: Участвовал в разработке аналитических моделей, повысивших точность прогнозов средней стоимости квадратного метра на рынке недвижимости на 15%.
11. Внедрил систему резервного копирования и восстановления данных, снизив время простоя хранилища до минимума и обеспечив сохранность данных при авариях.