7.3 Хранилище данных и результатов

Хранилище данных и результатов в платформе “Цифровой Двойник Города” реализовано на основе промышленной аналитической СУБД ClickHouse, предназначенной для хранения больших объёмов структурированных, временных и агрегированных данных. Хранилище обеспечивает высокую скорость обработки аналитических запросов, масштабируемость и устойчивость при работе с множеством параллельных пользовательских сессий и расчётных задач.

В хранилище формируются и поддерживаются следующие ключевые структуры:

• витрины первичных и нормализованных данных, полученных в результате обработки ETL-конвейеров;
  
• расчётные слои — с результатами моделей, прогнозов и агрегированных показателей;
  
• сценарные параметры и чувствительности — для сравнительного анализа и поддержки версионирования;
  
• история изменений и контрольные версии — позволяющие отслеживать, кто и когда сформировал тот или иной результат.

ClickHouse выбран как основная технологическая база благодаря его способности обрабатывать миллионы строк за миллисекунды, выполнять агрегации «на лету» и хранить компактные версии всех промежуточных расчётов и итогов.

Хранилище является ядром всей платформенной логики: через него проходят все данные, результаты моделей, значения индикаторов и информация для отчётности. Оно интегрировано с аналитическим движком, визуализацией, генерацией отчётов и API, обеспечивая консистентность данных на всех уровнях использования ЦДГ.