Требуемый опыт работы: 3–6 лет

Нашему будущему коллеге предстоит работать над проектом: OMNI-дашборды - системой визуализации отчетности для покрытия потребности в аналитических инструментах для высшего и среднего менеджмента Компании. Работать над развитием Корпоративного Хранилища Данных (Hadoop), которое является основным источником данных для этого проекта.

Также, в работе у команды проект по переезду с google analytics на Snowplow.

Цель проекта – реализовать уникальную систему по работе с клиентскими данными ПАО "Детский мир" на основе используемых компонентов и стэка технологий и программного обеспечения компании. По итогам проекта в компании появится единый источник непротиворечивой и консистентной информации для принятия управленческих решений.

Мы ищем эксперта с высокой ролью ответственности на проекте, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.

Что нужно делать?

• Проектирование, разработка и поддержка витрины данных для целей маркетинговых промо-кампаний
• Операционализация моделей машинного обучения от команды DS
• Техническая поддержка запуска кампаний (включая автоматизацию формирования контента)
• Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
• Автоматизация процессов обновления данных и запуска промо-кампаний
• Разработка правил и процедур контроля качества данных

Наш стек:

• Последние версии Apache Spark и Apache Airflow
• Hadoop 3
• Docker, Kubernetes
• GitLab для CI/CD

Что нужно делать?

• Создавать Spark ETL pipeline для загрузки данных в HDFS и преобразования данных на HDFS
• Обсуждать с аналитиками алгоритмы преобразования данных, переводить SQL от аналитиков в Spark API