С помощью ИИ можно собрать интерфейс, сгенерировать компоненты и создать целое веб-приложение за считаные минуты. Но функциональность не означает высокую производительность: приложение медленно загружается, интерфейс реагирует с задержкой, браузер тратит ресурсы на ненужные скрипты, которые замедляют работу сайта.

Менее чем за десятилетие глубокое обучение пережило два ключевых этапа. Сначала Python-библиотеки вроде Keras, TensorFlow и PyTorch вывели нейронные сети из лабораторных экспериментов в реальный продакшен. Затем LLM и другие инструменты генеративного ИИ преобразовали жизнь бизнеса и общества. 

Представьте: в компании десятки ИТ-систем, каталогов данных и баз знаний. Каждая описывает свою часть ИТ-ландшафта, но общей картины нет. Поэтому при слиянии компаний, миграции в облако или запуске проектов в области данных и ИИ приходится заново выяснять, какие системы существуют и как они связаны.

Во вторник разработчик переименовал столбец в рабочей базе. В четверг ключевой дашборд показал падение метрики, и никто не связал одно с другим. В понедельник руководство одобрило маркетинговую кампанию, чтобы вернуть ушедших пользователей. Через несколько недель выяснилось, что пользователи никуда не уходили, падение было следствием того самого переименования, а бюджет уже потрачен. Знакомая ситуация?

Сегодня данные играют главенствующую роль в проектировании систем, и нужно обеспечить их масштабируемость, согласованность, надежность, производительность и удобство сопровождения. Необходимо учитывать огромное разнообразие систем хранения данных: реляционных баз данных, хранилищ NoSQL, складов и озер данных, а также облачных и локальных сервисов и встроенных баз данных.