«Вестник Глонасс». Масштабирование данных Интернета вещей в умных городах

По мере того, как умные города превращаются из абстрактных представлений в конкретную реальность, управление огромным потоком данных в реальном времени выходит по важности на первый план. По данным Всемирного экономического форума, умные города ежедневно генерируют более 2,5 квинтиллиона байт данных. Более 50% этого потока данных исходит от устройств Интернета вещей (IoT), встроенных в городскую инфраструктуру.

Но как города могут эффективно собирать, обрабатывать, анализировать и извлекать выгоду из лавин данных, поступающих из огромных сетей датчиков и взаимосвязанных систем? Устаревшие ИТ-архитектуры скрипят под тяжестью растущего объёма данных IoT, что приводит к потере понимания и значительному снижению эффективности из-за отставания критически важных функций. Поскольку объёмы данных достигают невероятных размеров, умным городам требуются более надёжные и гибкие платформы данных, способные поглощать потоки данных и извлекать значимую информацию.

Рассмотрим проблемы с данными умных городов в этот переходный момент, в том числе риски, связанные с использованием устаревшей инфраструктуры, и почему внедрение современных облачных архитектур предлагает наиболее разумный путь вперёд для реализации полного потенциала умных городов, управляемых данными.

Городские регионы приняли модель «умного города» для повышения устойчивости, мобильности, экономического развития и управления. Это достигается за счёт внедрения обширных сетей датчиков во все инфраструктурные системы в сочетании с передовой аналитикой и интегрированными сетями передачи данных. Типичное развёртывание умного города предполагает подключение тысяч устройств IoT во всём: от транспортных средств и электросетей до сетей водоснабжения и систем управления отходами. Это генерирует огромные объёмы данных, которыми необходимо управлять соответствующим образом, чтобы получить выгоду.

Однако большая часть существующей городской инфраструктуры и многие операционные подразделения полагаются на устаревшие ИТ-системы, которые никогда не были предназначены для обработки огромного объёма, скорости и разнообразия гетерогенных потоков данных, генерируемых сетями IoT умного города. Неадекватно спроектированные и масштабированные платформы управления данными подвергают города серьёзному риску системного сбоя. Мы имеем дело с миллионами точек данных, поступающими от датчиков каждую секунду. По большей части это оперативные данные, чувствительные ко времени, которые быстро теряют ценность, если их невозможно немедленно принять, обработать и проанализировать.

Без правильно подобранной архитектуры данных города могут столкнуться с каскадными критическими сбоями, поскольку инфраструктура выходит из строя под нагрузкой. Узкие места системы искажают аналитику и существенно затрудняют усилия по оптимизации. Не менее опасно и то, что города могут полностью упустить важную информацию, скрытую в огромных потоках данных, – информацию, которая может помочь избежать катастрофических событий, связанных с дорожным движением, распределением энергии, эпидемиями общественного здравоохранения или нарушениями безопасности.

Учитывая неотложность масштабирования систем «умного города», сейчас наступает критический момент для городов по перестройке своих подключений к IoT, хранению данных, аналитике и рабочим процессам машинного обучения. Хорошей новостью является то, что возможности приёма, обработки и анализа огромных и быстрых наборов данных быстро развиваются благодаря облачным инновациям. Наверняка существует технология, позволяющая справиться даже с огромными рабочими нагрузками умного города – при условии надлежащего планирования и инвестиций.

Вот пять ключевых шагов, которые городам следует рассмотреть, чтобы преодолеть ограничения наследия и восполнить пробел в данных «умного города»:

• Внедрение централизованных «озёр данных» в облачных архитектурах. Консолидация IoT и других данных из городских агентств и инфраструктурных хранилищ в общие облачные озёра данных может значительно увеличить пропускную способность. Большие озёра данных, созданные на основе облачных технологий, таких как распределенные базы данных, обеспечивают гибкое масштабирование для обработки всплесков данных с датчиков.

• Потоковая передача и аналитика данных в реальном времени. Потоковые вычисления обеспечивают непрерывную обработку и анализ огромных потоков данных для обеспечения оперативного мониторинга, прогнозирования и действий. Именно здесь решающее значение имеют базы данных быстрых временных рядов, оптимизированные для данных телеметрии IoT: они принимают, обрабатывают и запрашивают миллионы показаний датчиков в секунду в любом необходимом масштабе.

• Создание архитектур, управляемых событиями. Развёртывая высокопроизводительные облачные платформы данных, города могут внедрять архитектуры, управляемые событиями, которые автоматически запускают оповещения, моделирование, элементы управления и диспетчеризацию на основе пороговых событий данных в реальном времени. Например, датчики метана в сети газопровода могут вызывать мгновенные оповещения, закрытие клапанов и отправку технических специалистов при обнаружении опасных уровней.

• Организация услуг в гибридном облаке. Умные города должны использовать как локальную, так и общедоступную облачную инфраструктуру, а также тщательно управлять рабочими нагрузками в частных центрах обработки данных и общедоступных облаках, таких как AWS, для оптимизации безопасности, масштабируемости, задержки, пропускной способности и стоимости.

• Внедрение надёжной кибербезопасности. Учитывая экспоненциальный рост числа поверхностей атак и уязвимостей данных, лидеры умных городов должны с самого начала сделать кибербезопасность, управление данными и отказоустойчивую архитектуру главными приоритетами. По мере роста данных растут и риски, если ими не управлять должным образом.

Преодолев, наконец, ограничения наследия, умные города смогут раскрыть огромную скрытую ценность своих потоков данных. Благодаря правильной современной архитектуре города получают возможность принимать, обрабатывать и анализировать данные в реальном времени в огромном объёме, скорости и разнообразии, что необходимо для максимизации операционной эффективности, экономии затрат и качества обслуживания во всех городских сферах.

От прогнозирования пробок на дорогах до обнаружения утечек, оптимизации распределения энергии и графиков транспортировки, управления выбросами и многого другого – возможностей получения выгод бесчисленное множество. Мы только начали прикасаться к тому, что будет возможно, когда умные города будут использовать передовую аналитику, искусственный интеллект и новые подходы, такие как цифровые двойники.

Конечно, ни один город не хочет столкнуться с катастрофическими системными сбоями, которые могут возникнуть в результате несвоевременных действий. Чтобы избежать таких результатов и полностью извлечь выгоду из перспектив создания умных городов, управляемых данными, муниципальные лидеры должны уделять первоочередное внимание инвестициям в навыки, платформы и управление сейчас, до того, как устаревшая инфраструктура достигнет критической точки. Данные — это источник жизненной силы умных городов и горожан. Чтобы полностью реализовать это видение, городам потребуются надёжные и перспективные механизмы обработки данных, способные справиться с резким ростом.

Настало время упреждающего планирования и разумных инвестиций. Вдумчиво соединяя старение и новые технологии, города могут сократить разрыв между ограничениями устаревших данных и перспективами более разумного городского будущего. Но масштабирование возможностей IoT должно стать неотложным приоритетом. Если мы не сможем действовать быстро, возникнут системные разрывы из-за неадекватных потоков данных. Мы можем максимизировать выгоды и построить процветающие городские пейзажи, решая проблему потока данных.