Максим С. , Senior, Data инженер

Миграция корпоративной аналитической платформы с SAS/Teradata и MS SQL на стек PostgreSQL/Greenplum. Автоматизация ETL-потоков, построение системы пакетных расчётов и мониторинга данных. Интеграция гетерогенных источников (Teradata, Oracle, MS SQL) в единое хранилище. Рефакторинг и оптимизация наследственных скриптов для повышения производительности расчётов.

1. Миграция ETL-логики и хранимых процедур с SAS Teradata и MS SQL на PL/pgSQL (PostgreSQL/Greenplum).
2. Разработка и поддержка оркестрации ETL-пайплайнов на Apache Airflow (Python).
3. Оптимизация SQL-запросов и скриптов: профилирование, применение индексов, CTE, декомпозиция сложных процессов.
4. Настройка интеграций и загрузки данных из внешних СУБД: Teradata, MS SQL, Oracle, PostgreSQL.
5. Автоматизация мониторинга сбоев в ETL-потоках и настройка алертинга.
6. Анализ текущей архитектуры SAS-системы для проектирования целевого стека на Greenplum/PostgreSQL.
7. Ведение технической документации и базы знаний в Confluence.

Разработка проекта "инстаграм для танцоров". Проектирование БД с нуля. Оптимизация производительности SQL-запросов и рефакторинг наследственного кода на PL/pgSQL. Обеспечение целостности данных и поддержки бизнес-логики на уровне СУБД.

1. Проектирование схем БД и нормализация структур данных под бизнес-требования.
2. Профилирование и оптимизация медленных запросов: анализ планов выполнения, создание индексов, переписывание подзапросов в CTE.
3. Написание unit-тестов для PL/pgSQL-кода и верификация корректности трансформаций.
4. Участие в code review и ведение технической документации.

Обработка и визуализация больших массивов данных численного моделирования. Обработка научных данных на высокопроизводительных кластерах (HPC/Linux). Автоматизация расчётов, сборка библиотек для работы с форматами NetCDF/HDF5 и обеспечение работоспособности вычислительной инфраструктуры.

1. Обработка терабайтных массивов данных на Python (NumPy, SciPy, Pandas).
2. Работа с высокопроизводительными Linux-кластерами: запуск распределённых вычислений, мониторинг ресурсов.
3. Автоматизация пакетных расчётов и управления моделями через Bash/Python-скрипты.
4. Работа с бинарными форматами больших данных: NetCDF, HDF5, XIOS.
5. Визуализация результатов и подготовка данных для аналитических отчётов (Matplotlib, Jupyter).
6. Администрирование Linux-серверов, установка и настройка компиляторов и научных библиотек.