Lead Data Architect

Задачи

• Проектируйте и оптимизируйте решения для хранилищ и озёр данных на базе Snowflake, Databricks и Azure, интегрированные с локальными базами данных, для аналитических, регуляторных и операционных нагрузок
• Управляйте стандартами концептуального, логического и физического моделирования данных с использованием методов dimensional и data vault, а также продвигайте канонические модели и стандарты метаданных для повторного использования продуктов данных
• Сотрудничайте с командами BI и аналитики для определения семантических и бизнес-слоев, обеспечивающих самостоятельную аналитику (self-service analytics)
• Определяйте шаблоны для загрузки, конвейеров, оркестрации и автоматизации, а также устанавливайте прагматичные стандарты для CI/CD, инфраструктуры как кода, тестирования и мониторинга (observability)
• Готовьте наши данные к использованию с AI/ML, сотрудничая с дата-саентистами и ML-инженерами в вопросах данных признаков (feature data), версионирования, воспроизводимости и обеспечения обучения и инференса
• Определяйте и внедряйте стандарты архитектуры D&A путем взвешенных дизайн-ревью, чтобы решения соответствовали требованиям безопасности, регуляторным нормам и требованиям корпоративной архитектуры
• Помогайте командам решать, когда использовать наши стандартные технологии, а когда оправдан новый путь, и консультируйте по поводу приоритезации обновлений существующих систем
• Будьте примером во время дизайн-сессий, менторьте архитекторов и инженеров и держите команды в курсе актуальных архитектурных трендов