Низкое качество данных создает серьезные проблемы — от сбоев в конвейерах данных, приносящих прибыль, до потери доверия со стороны потребителей. Команды, работающие с данными, до сих пор пытаются избежать этих проблем, особенно когда данные приходят из внешних источников. Решение — контракты данных. Они обеспечивают высокое качество данных и полный контроль над ними: описывают ожидания от данных, закрепляют владельцев активов, а их условия автоматически проверяются прямо в процессе CI/CD.В книге представлена архитектура контрактов данных, дается их четкое определение, объясняется, почему индустрия в них нуждается, и приводятся реальные примеры использования контрактов в продакшене. Вы узнаете, как внедрять компоненты этой архитектуры и как они используются на всех этапах жизненного цикла данных в компании.
В работе над книгой принимал участие ReadITClub.О научном редакторе русскоязычного издания. Джулианна Кадрия более десяти лет работает в ИТ: от продуктовой лаборатории до крупных компаний в сфере консалтинга, венчура, телекома, системной интеграции и тяжелой промышленности. Работала аналитиком (БА, СА, продуктовая аналитика, BI, руководитель группы), затем перешла к техническому управлению проектами и продуктами. Участвовала в проектах ИТ-школы для аналитиков, стажерской программы и менторства в Mentor in Tech. Сформировала экспертизу в Data Governance и Data Quality. Участник проекта ПАО “Газпром Нефть” и компании КРОК по внедрению корпоративной платформы управления данными (проект года 2020 в номинации “Аналитика и Big Data” Global CIO). Сейчас развивает экспертизу в архитектуре решений.
- Разбор ключевых компонентов архитектуры контрактов данных.
- Практическое внедрение контрактов данных на базе инструментов с открытым исходным кодом.
- Подходы к масштабированию и внедрению контрактов данных на уровне всей компании.
- Автоматизация контроля качества и проверки данных прямо в CI/CD.
- Решение проблем качества данных и их искажения с помощью концепции “сдвиг влево”.
