Delta Lake. Современные архитектуры озер данных

Упавшее задание оставляет в хранилище обрывок файла, и отчет считает часть данных дважды. Схема таблицы меняется без предупреждения, таблицы распадаются на тысячи мелких файлов, а данные приходится копировать для каждой команды. Это практическое руководство показывает, как Delta Lake решает такие проблемы надежности. Книга пригодится инженерам данных, специалистам data science и аналитикам, которые строят озера-хранилища и конвейеры данных в промышленных масштабах.

Авторы сопровождают Delta Lake и внедряют его в компаниях. Поэтому, помимо команд, они объясняют, почему формат устроен именно так. Вы узнаете, как ACID-транзакции и журнал транзакций делают озеро данных надежным, как совместить пакетную и потоковую обработку и как работать с Delta Lake с Apache Spark и без него.

1. Разоберетесь в главных проблемах надежности данных и способах их решения с помощью Delta Lake.
2. Поймете, почему журнал транзакций Delta служит единым источником истины.
3. Освоите экосистему Delta Lake: Apache Spark, Flink, Kafka, Trino, а также приложения на Python и Rust.
4. Будете проектировать озера-хранилища данных с использованием архитектуры медальона.
5. Сможете обслуживать таблицы и повышать производительность с помощью OPTIMIZE, векторов удаления и динамической кластеризации (liquid clustering).