Senior Data Engineer

Обязанности:

• Проектировать и создавать масштабируемый слой данных о клиентах (Customer Data Mart), объединяющий данные о программе лояльности, списках желаний (wishlist), интересах клиентов и явных предпочтениях, указанных в приложении.

• Настраивать потоковую передачу данных в реальном времени между backend-системами, CDP (Zeotap) и CEP (Responsys).

• Разрабатывать и поддерживать надёжные backend API, предоставляющие продуктовым командам доступ к данным о клиентах для персонализации.

• Моделировать и преобразовывать данные в BigQuery и Dataform, а также организовывать выполнение конвейеров обработки данных с помощью Cloud Workflows, Cloud Scheduler и Eventarc.

• Управлять инфраструктурой как кодом с помощью Terraform и обеспечивать развёртывание через CI/CD-конвейеры в GitHub Actions.

Требования:

• Экспертное владение Python и SQL, опыт работы с инженерией данных в production-среде.

• Практический опыт работы с сервисами обработки данных GCP, в частности BigQuery, Pub/Sub, Cloud Run и Cloud Storage.

• Опыт работы с Dataform, Datastore, Cloud Workflows, Eventarc и Cloud Scheduler.

• Опыт создания конвейеров обработки данных в реальном времени или на основе событий.

• Опыт проектирования моделей данных и витрин данных (data marts) для аналитических и операционных задач.

• Опыт разработки REST API на Python, желательно с использованием Flask.

• Опыт работы с инфраструктурой как кодом с помощью Terraform (HCL) и настройки CI/CD с использованием GitHub Actions.

• Опыт интеграции платформы клиентских данных (Customer Data Platform, CDP) Zeotap.

• Опыт работы с Oracle Responsys или другой платформой клиентского взаимодействия (CEP), например Salesforce Marketing Cloud или Braze.

• Опыт работы с клиентскими данными, данными программ лояльности или электронной коммерции, включая идентификацию и сопоставление профилей клиентов (identity resolution).

• Сертификация Google Cloud Professional Data Engineer.

• Свободное владение английским языком для работы в международной команде.