Мы ищем Middle Data Engineer для участия в стратегическом проекте F&R "Совершенствование системы автозаказа и пополнения". Задача проекта — создать оптимальный баланс между уровнем запасов и их доступностью в сети магазинов "Магнит" по всей России.

Наш стек: Apache (Spark, Hive, Airflow, Kafka), Python, SQL, Linux, Docker, Yandex Cloud

Чем ты будешь заниматься:

• создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством технологий Apache Spark и Apache Airflow;
• развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming;
• реализовывать оптимальный код для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive;
• развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow;
• работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab);
• работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis) - поддерживать в актуальном состоянии документацию проекта;
• проводить проверку кода младших специалистов;
• работать с serverless сервисами в облаке (Yandex Cloud) и системами упаковки ПО (Docker, K8S).

Мы ожидаем

• опыт работы от 2-х лет на аналогичной должности;
• опыт работы с Apache (Spark, Hive, Airflow):
• уверенное владение Python и SQL;
• будет плюсом опыт работы с Linux, Streaming, Docker, Yandex Cloud.

Мы предлагаем

• работу в одном из крупнейших ритейлеров страны (в ТОП-3);
• работу в аккредитованной IT-компании;
• график работы 5/2 с гибким началом рабочего дня;
• возможность работать как удаленно, так и в современных офисах с зонами отдыха в Москве, Краснодаре, Санкт-Петербурге и Иннополисе;
• ДМС со стоматологией;
• оплату обучения на курсах и участие в конференциях;
• возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах;
• прозрачные цели, четкие ожидания, здравый смысл в процессах и управленческих подходах;
• возможность проведения митапов, хакатонов, где есть возможность познакомиться с работой других подразделений;
• наличие корпоративных скидок PRIMEZONE, программ лояльности, корпоративной библиотеки, курсов;
• корпоративную технику для комфортной работы.