Алексей К. , Senior, Data аналитик

Разработка прототипа решения по интеграции Yandex AppMetrica c КХД

1. анализ протокола получения данных о событиях от сервиса Yandex AppMetrica: структура содержимого запросов к сервису и ответов от сервиса, статусы ответов, повторная отправка запросов, обработка ошибок;
2. разработка UML диаграмм последовательностей обмена сообщениями с сервисом;
3. проектирование диаграмм взаимосвязей (ER) и DDL таблиц в КХД для сохранения данных, полученных от сервиса;
4. создание таблиц в БД КХД;
5. разработка и тестирование прототипа трансформаций (transformations) и заданий (jobs) в Pentaho Data Integration для обмена сообщениями с сервисом и получения данных;
6. документирование компонентов решения в Confluence.

Разработка алгоритмов и кода хранимых процедур для расчета витрин домена CRM

1. анализ PL/pgSQL кода существующих хранимых процедур для расчета витрин;
2. формирование диаграмм потоков данных (DFD) для алгоритмов расчета существующих витрин;
3. оптимизация PL/pgSQL кода процедур для увеличения производительности расчета существующих витрин;
4. разработка алгоритмов, диаграмм потоков данных (DFD) для расчета новых витрин по данным из КХД (методология Data Vault 2.0);
5. проектирование диаграмм взаимосвязей (ER) и DDL таблиц для витрин (методология Kimball, схемы «звезда» и «снежинка»), оптимизация структуры таблиц (индексы, партиционирование);
6. разработка PL/pgSQL кода хранимых процедур для расчета витрин;
7. подключение вызовов хранимых процедур в задания Pentaho Data Integration;
8. документирование компонентов решения в Confluence.

Разработка решения для реконсиляции (сверки) данных между основной учетной системой и продуктовыми системами (витрины расхождений)

1. анализ архитектуры существующего решения, формирование схемы компонентов архитектуры;
2. сбор требований от бизнес-заказчика;
3. проработка архитектуры целевого решения по расчету витрин на Hadoop/Hive/Spark/SQL;
4. анализ PL/pgSQL кода расчета существующих витрин в Greenplum, формирование диаграмм потоков данных (DFD);
5. проектирование DDL таблиц для витрин (денормализованные таблицы);
6. миграция логики расчета существующих витрин из PL/pgSQL кода в Greenplum в SQL код для Hadoop/Hive/Spark/SQL (временные таблицы -> CTE, корректировка синтаксиса, рефакторинг кода);
7. тестирование расчетов в новом решении (сверка результатов с существующbм решением);
8. разработка DAGов Airflow для оркестрации запуска кода расчетов витрин на Spark/SQL;
9. разработка логики расчета новых витрин на Spark/SQL, формирование диаграмм потоков данных (DFD);
10. проектирование DDL таблиц для витрин (денормализованные таблицы);
11. разработка DAGов в Airflow для оркестрации запуска расчетов витрин;
12. тестирование расчетов витрин;
13. документирование решения в Confluence.

Разработка витрин для отчетности по продажам для поставщиков

1. сбор требований к витринам от бизнес-заказчика;
2. анализ данных в КХД, необходимых для расчета витрин;
3. анализ SQL кода расчета витрин, формирование диаграмм потоков данных (DFD);
4. анализ проблем с производительностью существующего решения (MS SQL/MS SSIS);
5. проектирование новой архитектуры решения на облачной платформе MS Azure (Databrick/Spark), формирование схемы компонентов архитектуры;
6. миграция решения в облако MS Azure (DDL, SQL код для Spark);
7. разработка DAGов в Airflow для оркестрации процессов расчета витрин;
8. проработка альтернативных вариантов архитектуры - облачные платформы Yandex.Cloud (Greenplum) и DataLine (Oracle);
9. миграция решения на облачную платформу DataLine (Oracle);
10. документирование решения в Confluence;
11. наставничество/управление командой инженеров данных;