Аутстаффинг специалистов по аналитике данных

Навыки: Разработка и поддержка хранилищ данных: ● Проектирование и внедрение архитектуры данных. ● Оптимизация процессов обработки данных для снижения времени отклика и повышения производительности. ● Миграция legacy-решений на современные инструменты (например, SQLMesh, dbt). ● Cоздание API-интеграций с внешними сервисами (Kafka, RabbitMQ и др.) Интеграция данных: ● Настройка ETL/ELT-процессов с использованием таких инструментов, как Apache Airflow, NiFi. ● Интеграция данных из различных источников (базы данных, файлы, IoT, REST API, clickstream и т.д.). Работа с облачными технологиями: ● Использование облачных сервисов, таких как Yandex Cloud (S3, Managed Kafka, Managed PostgreSQL). ● Настройка и управление облачными хранилищами данных (PostgreSQL, ClickHouse, TimescaleDB). ● Разработка и поддержка инструментов доступа к Data Lake Автоматизация и CI/CD: ● настройка процессов CI/CD для автоматизации тестирования и развертывания кода (GitLab, GitHub). Работа с Unix-системами и CLI Бизнес-аналитика и визуализация данных: ● Создание витрин данных и отчетов для бизнес-пользователей. Тестирование и обеспечение качества данных: ● Внедрение дата-тестов и юнит-тестов для проверки качества данных (SQLMesh, dbt). ● Документирование витрин данных для повышения прозрачности и удобства использования.