АРХИТЕКТУРА СОВРЕМЕННЫХ ГИС НА ОСНОВЕ БАЗ геопространственных данных - А. А. Лященко, А. Г. Черин
К характерным признакам современного этапа развития геоинформатики правомерно относят промышленное освоение геоинформационных систем нового поколения, основанных на использовании универсальных систем управления базами данных (СУБД) для хранения и анализа геопространственных данных. Это свидетельствует о технологической зрелости ГИС с точки зрения применения идей и методов объектно - ориентированного подхода к моделированию геопространства, а также универсальных методов информационных технологий и полноценной клиент-серверной архитектуры в корпоративных и глобальных ГИС.
Системы баз геопространственных данных стали объектом активных исследований в последние 20 лет, о чем в частности свидетельствует поток публикаций, посвященных поиску эффективных моделей геопространственных данных и схем организации пространственных запросов в среде СУБД, интеллектуальному анализу данных и знаний, заложенных в базах пространственных и пространственно-временных данных и тому подобное.
Как следует из публикаций [1-8], эти вопросы не остались без внимания и сотрудников Научно-исследовательского института геодезии и картографии (НДИГК), что позволило не только, как говорится, "держать руку на пульсе" развития новых технологий, а и совершенствовать инструментарий работы с базами геопространственных данных и реализовать ряд реальных проектов геоинформационных сервисов и корпоративных ГИС с использованием баз геопространственных данных. Особенностям базоориентованои архитектуры ГИС и обобщению полученных практических результатов реализации и посвящена данная публикация.
Анализ развития систем обработки геопространственных данных.
Рис. 1. Стратегия миграции средств обработки геопространственных данных от ГИС к системам баз геопространственных данных [20]
В информатике недавно преобладала парадигма исключительности геопространственных данных с точки зрения применения технологии универсальных СУБД для их моделирования, хранения, обработки и использования. Такая ситуация на начальных этапах развития ГИС, выпавшие на 80-е годы прошлого века, имела объективное объяснение, поскольку технологии универсальных СУБД действительно могли предложить геоинформатике готовых эффективных решений по обработке пространственных данных. Следствием этого стало разнообразие подходов и форматов от разных производителей инструментальных ГИС на фоне высокого уровня унификации представления и обработки фактографических (непространственных) данных в универсальных СУБД на уровне стандартного языка SQL и унифицированных механизмов и средств доступа к данным.
С тех пор базовой парадигмой ГИС стала парадигма картографических слоев, а основные усилия исследований были направлены на создание инструментальных средств точного представления геометрических объектов в файловых форматах отдельных слоев, выполнения операций пространственного анализа с геометрическими объектами и формирования электронных карт. Впоследствии были сделаны первые примитивные попытки получить комплексные географические данные как сочетание пространственных данных геоинформационных слоев с фактографическими данными, хранящимися в СУБД.
Как следствие, управления географическими данными осталось разделенным на две разные среды обработки - одно (ГИС-среда) для пространственных данных, другое - для атрибутов в фактографических СУБД с оригинальным для каждого типу инструментальной ГИС механизмом связи с пространственными данными. Обмен геоинформационными моделями между ГИС различных производителей в комплексной корпоративной ГИС происходит с использованием конверторов данных. Такая смешанная структура данных хотя и получила название "геореляцийна", но она оставалась несовершенной, а ее название свидетельствовала только о возможности упрощенного совместного использования в ГИС уникальной для каждой инструментальной ГИС модели геопространственных данных и общей для их реляционной модели фактографических данных, к примеру, с целью дополнительной классификации геопространственных объектов и их тематического картографирования.
Несложно выявить основные недостатки корпоративной ГИС с такой архитектурой. Кроме того, что процесс преобразования при значительных объемах данных превращается в отдельную трудоемкую процедуру, конвертируемые данные, как правило, не полностью соответствуют исходной структуре геоинформационной моделей источники. Это в свою очередь требует дополнительных затрат на корректировку полученной в результате конвертации модели, а всего имеет место дублирование информации в различных ГИС-форматах, практически не обеспечивается целостность и адекватность моделей данных, усложняется управляемость данными.
Расширение сфер применения ГИС в 1990-х годах и их практическая способность превратиться в средство интеграции различных данных об окружающей среде стимулировали развитие в универсальных СУБД средств для представления и манипулирования пространственными и многомерными данными. В архитектуре современных ГИС, которые за эволюцией геоинформационных систем относятся к ГИС третьего поколения [2], наблюдается их полное интегрирование с универсальными СУБД, а также их выход в глобальное информационное пространство через Интернет. В таких ГИС обе компоненты модели географических объектов (атрибутивная и пространственная) хранятся в среде единой базы данных, а расширенный язык SQL позволяет описывать множество пространственных предикатов для выполнения пространственного анализа. Использование основанного на базах данных подхода к пространственной информации обеспечивает следующие основные преимущества, как централизация пространственных и непространственных данных в единой среде, многопоточную использования, независимость данных от типа инструментальной ГИС, реальное разграничение доступа, целостность и репликация данных и тому подобное.
Краткая характеристика систем баз геопространственных данных.
Переход к реализации основанного на базах данных подхода в системах обработки геопространственных данных состоялся благодаря большим усилиям и привязанности со стороны разработчиков программных средств как обычных ГИС, так и СУБД. Это также породило ряд объединений, партнерство и совместные проекты компаний-разработчиков, cформувалися промышленные консорциумы, которые объединили усилия государственных, коммерческих и научных организаций для выявления проблем и организации сотрудничества в достижении общих целей по созданию систем баз геопространственных данных (СБГД) . Сегодня практически все крупные поставщики СУБД предлагают средства для хранения и обработки геопространственных данных в своих продуктах. Вместе с тем поставщики ГИС также в значительной степени развили и поставляют новые версии своих систем, в которых реализованы концепции и методы обработки геопространственных данных в среде СУБД.
Типичные системы баз геопространственных данных сегодня являются обычными коммерческими или открытыми СУБД с дополнительными возможностями и функциями для обработки геопространственных данных. Эти возможности и функции включают: пространственные типы данных, пространственное индексирование, пространственные операторы, пространственные прикладные процедуры. Кратко охарактеризуем каждую из этих составляющих.
Пространственные типы данных.
Пространственные данные хранятся в СБГД или в виде специальных абстрактных типов данных согласно спецификации открытого геопространственного консорциума OGC (Open Geospatial Consortium) как "простые картографии объекты" (simple features) [14] или как абстрактный тип данных "большие бинарные объекты "BLOB (binary large object). Простые картографии объекты по спецификации OGC (точки, полилинии, полигоны, мультиточка, мультиполилинии, мультиполигоны и комплексные объекты) определены как абстрактный тип дан ных СУБД Geometry, а следовательно, полностью обрабатываются функциональностью собственно базы данных. С другой стороны, BLOB-поля - это универсальный тип дан ных, в котором могут быть сохранены любые бинарные (в т. Ч. И картографии) данные. Именно применение абстрактного типа данных BLOB стало одним из средств реализации в реляционных СУБД объектно-ориентированного подхода и превращение их в объектно-реляционные базы данных (ОР СУБД). При таком подходе для поддержки геопространственных данных, хранящихся в форме BLOB-полей, для СУБД должны быть разработаны и установлены дополнительные программные компоненты (методы класса геометрических объектов), обеспечивающие индексирования и манипулирования пространственными данными, и в совокупности превратили бы обычную ОР СУБД в систему базы геопространственных данных.
Пространственное индексирование
Это механизм для ускорения доступа к базе геопространственных данных на основе разбиения координатного пространства по определенной схеме, построения специальных структур (пространственных индексов), в которых фиксируются пространственные отношения между элементами разбиения и геометрическими объектами, хранящихся в СБГД. Пространственные индексы используются для предварительного отбора (фильтрации) геометрических объектов при выполнении пространственных запросов и операций. Есть много различных вариантов индексирования, такие как R-дерево, квадро-дерево, модифицированное B-дерево и GRID-индексы, каждый из которых имеет свои сильные и слабые стороны в зависимости от формальных спецификаций данных и прикладных нужд [3-5, 9, 16-18, 20].
Пространственные операторы относятся к набору функций обработки данных и процессов, которые поддерживают использование расширенной языка SQL (SQL 99 и SQL 2002) для формирования пространственных запросов и получения выбранного содержимого базы данных, объединение таблиц базы данных в соответствии с конкретными пространственными и непространственных критериям, а также генерирования результатов обработки в специфических форматах [9, 14-21]. Для унификации доступа к геопространственных данных в СУБД разработаны соответствующие международные стандарты как в сфере информационных технологий (например, ISO / IEC 13249-3: 2002 [13]), так и в сфере географической информации (например, ISO 19125-1: 2004 (E ) [11], ISO 19125-2: 2004 (E) [12]) и спецификации OGC [14], что позволило достичь высокого уровня интероперабельности пространственных расширений в среде СУБД различных производителей. В частности, стандартизировать два формата представления геометрических объектов при обращении к СГБД, а именно открытый бинарный WKB (Well-Known Binary) и открытый текстовый WKT (Well-Known Text)]. Для экспорта / импорта геопространственных данных разработаны стандарт географической языка разметки GML (Geographic Markup Language).
Пространственные прикладные процедуры.
К ним относятся различные компоненты программного обеспечения для специфических прикладных функций СБГД, таких как загрузка геопространственных данных, управления версиями и длинными транзакциями, настройки производительности (оптимизация пространственных запросов), резервное копирование и репликация базы данных [9, 15-21]. Все дополнительные функции, пространственные операторы и прикладные процедуры используют специальный идентификатор SRID для выбора определенной референсной системы координат или картографической проекции, в которой описаны координаты геометрических объектов.
Сейчас есть несколько опций в универсальных СУБД, в которых предлагаются средства хранения геопространственных данных и соответствующий набор пространственных операторов и функций. Корпорация "Oracle" была, возможно, первым поставщиком СУБД, приобщила пространственные опции для своих основных продуктов [15]. Еще в сентябре 1995 г. Эта корпорация и институт ESRI согласились интегрировать Oracle 7 Spatial Option с двумя продуктами ESRI, а именно инструментарий базы пространственных данных SDE (Spatial Database Engine) [21] и ArcView GIS. С тех пор Oracle оформила партнерство или совместные соглашения развития средств обработки геопространственных данных с рядом других компаний, в т. Ч. Intergraph, MapInfo и GE Smallworld Systems. Одновременно Oracle пересмотрела свою внутреннюю стратегию развития, реализация которой привела к созданию структуры для полной поддержки геопространственных данных за счет расширения SQL и реализации целого спектра функций обработки и даже визуализации геопространственных данных в среде СУБД Oracle под названием SDO (Spatial Data Option).
Все ключевые игроки индустрии баз данных, включая такие как IBM, Sybase и Microsoft, вступили в партнерские отношения с поставщиками программного обеспечения ГИС для интеграции СУБД с функциями ГИС или разработали свои собственные средства, как правило, в виде специальных пространственных расширений соответствующих СУБД. Например, IBM в апреле 2001 г.. Приобрела СУБД Informix, отличавшейся своей пространственной функциональностью, и начала активно развивать эту функциональность в собственных СУБД, флагман которых известен под названием DB2 с расширением Spatial Extender [10].
Sybase и Microsoft выбрали другой подход: расширили сотрудничество с поставщиками программного обеспечения ГИС, чтобы придать своим продуктам функциональность СБГД. Компания Sybase, скажем, в сотрудничестве с AutoMetric разработала набор функций базы пространственных данных под названием Spatial Query Server (SQS), который может быть реализован на основе СУБД Sybase. В СУБД Access и SQL Server корпорации Microsoft успешно реализовано средства для интеграции с ГИС-программами ESRI, MapInfo, Intergraph, Autodesk и других компаний.
Безусловным лидером среди производителей ГИС-средств в развитии СБГД стал институт ESRI с технологией Geodatabase ArcSDE. В составе ArcGIS 10 эта технология поддерживает SQL-доступ к геометрических моделей объектов ряда СУБД, в частности: Oracle (с использованием варианта SQL для ArcSDE или варианта SQL для Oracle Spatial), IBM DB2, IBM Informix, Microsoft SQL Server, Informix, PostgreSQL (с помощью стандартных геометрических типов ST_Geometry или геометрического типа данных PostGIS). Предлагается также библиотека программного интерфейса SQL API для доступа к таблицам Geodatabase ArcSDE с приложений на языке С ++ без лицензии на инструментальный пакет ArcObjects с целью обеспечения интероперабельности внешних приложений в использовании геопространственных данных ArcGIS на основе спецификаций ISO SQL / MM Spatial [13] и OGC SQL для простых геопространственных объектов [14].
Среди открытых программных средств высочайшую функциональность для обработки геопространственных данных обеспечивает ОР СУБД PostgreSQL с набором соответствующих пространственных программных процедур PostGIS, которые полностью соответствуют спецификациям OGC SQL для простых геопространственных объектов [14] и спецификациям ISO SQL / MM Spatial [13], поддерживают доступ на уровне стандартов ANSI SQL 92-2003 + и ANSI SQL 2006. PostgreSQL / PostGIS интегрированы в технологию пространственного индексирования на основе обобщенного поискового дерева GiST (Generalized Search Tree), поддерживают растровые типы данных, TIN-модели и 3D- и 4D-координ ты, на их основе реализован ряд продуктов с открытыми исходными кодами, в частности: средства веб-картографирования MapServer, GeoServer, OpenLayers, геоинформационные системы OpenJUMP, Quantum GIS, uDig, gvSIG и многие другие [16].
Обычно разработчики информационных систем осторожно воспринимают программные продукты с открытыми лицензиями, обращая внимание на их надежность, профессиональный уровень программирования, документированность и сервисную техническую поддержку. Но все это не касается PostgreSQL / PostGIS, поскольку, во-первых, PostgreSQL имеет "авторитетное" дерево происхождения: System-R (1973) - Ingres (1974) -Postgres (1988) - Illustra (1993) - Informix (1997) - IBM Informix (2001) - Postgres95 (1995) - PostgreSQL (1997). Как показано в [16], PostgreSQL является "двоюродной сестрой" СУБД Sybase и Microsoft SQL Server, так как специалисты, которые разрабатывали Sybase, пришли из Калифорнийского университета в Беркли и поработали над проектами Ingres и / или PostgreSQL с Майклом Стоунбрейкер (Michael Stonebraker) . А Майкл Стоунбрейкер, по мнению многих, является идеологом Ingres и PostgreSQL и одним из идеологов-основателей объектно-реляционных СУБД. Исходный код Sybase SQL Server был позже лицензированный в Microsoft для производства Microsoft SQL Server.
Во-вторых, PostgreSQL является самой мощной ОР СУБД среди открытых (и не только открытых) систем этого класса, практически не имеет ограничений на размер БД, максимальный размер таблицы 32 Тбайт, максимальный размер записи 1,6 Тбайт, максимальный размер поля 1 Гбайт, свободно и бесплатно доступна в Интернет, что обусловило ее использования во многих информационных и геоинформационных проектах международного, национального и регионального уровней.
В-третьих, PostgreSQL / PostGIS интегрированы с технологией пространственного индексирования на основе обобщенного поискового дерева GiST (Generalized Search Tree), поддерживают растровые типы данных, TIN-модели и 3D- и 4D-координаты; на их основе реализован ряд продуктов с открытыми исходными кодами, в частности: средства веб-картографирования MapServer, GeoServer, OpenLayers, геоинформационные системы OpenJUMP, Quantum GIS, uDig, gvSIG и еще многое другое [16]. Практически все ведущие производители коммерческих ГИС (ESRI, MapInfo, Autodesk и т.д.) реализовали в своих системах средства интегрирования с PostgreSQL / PostGIS.
И в завершение отметим следующее: все эти и другие преимущества ОР СУБД PostgreSQL обусловили выбор средств PostgreSQL / PostGIS как основы реализации СУБД-ориентированной архитектуры корпоративных ГИС и средств веб-картографирования в проектах НДИГК.
Примеры реализации СУБД-ориентированной архитектуры ГИС
Один из первых проектов (пионерной не только в Украине), в котором на основе PostgreSQL реализовано картографический веб uamap.net исследовательской Украинской картографической сети в Интернет, внедрено в 2001-2002 гг. [1]. Проектом начало интерактивный картографический Интернет-сервис в Украине. На главном узле картографической сети (vnetgis.com) было зарегистрировано более 100 удаленных клиентов (поставщиков и постоянных пользователей геопространственных данных), в том числе: публикация геоинформационных данных на сервере - 28; обслуживание диспетчерских систем - 5; офисная автоматизация - 4. В исследовательской сети функционировало 4 физических и 22 виртуальных картографических серверы для соответствующих регионов Украины. На многих популярных сайтах Украины и сегодня публикуются электронные карты, которые формируются картографическим сервером uamap.net.
Многие концептуальных и технологических задач что к реализации СУБД-ориентированной архитектуры корпоративной ГИС была отработана при разработке проекта ГИС Государственного предприятия "Международный аэропорт" Борисполь "(ГИС аэропорта" Борисполь ")".
Ядро корпоративной ГИС этого предприятия создан на основе СБГД PostgreSQL / PostGIS, что объясняется большими объемами геоинформационных ресурсов о территории объекта, которые создаются, накапливаются и совместно используются в процессе мониторинга состояния инфраструктуры аэропорта, подготовки проектных и управленческих решений, направленных на рациональное использование и развитие данного территориально-хозяйственного комплекса.
Использование системы PostgreSQL / PostGIS позволило реализовать в ГИС аэропорта "Борисполь" полноценную клиент-серверную структуру (рис. 2) и обеспечить применение отдельными подразделениями предприятия различных инструментальных ГИС, функционально наиболее соответствуют их производственным потребностям по поддержке процессов жизнеобеспечения аэропорта, в т. ч. AutoCAD Map 3D, MapInfo, Quantum GIS и информационных компонентов работы с электронными картами удаленных клиентов в сети Интернет.
Рис. 2. Структура и пример визуализации ситуации в корпоративной ГИС аэропорта "Борисполь"
В ГИС аэропорта "Борисполь" комплексно используются цифровые ортофотопланы и подробная цифровая векторная модель территории, по составу и точности соответствует топографическом плана в масштабе 1: 500. Поддержание в актуальном состоянии и использования цифровой модели территории такого высокого уровня детализации обеспечивается распределенным доступом к ее отдельных составляющих соответствующих подразделений и служб предприятия в режиме редактирования. Любые изменения, внесенные одним из под разделов в геоинформационную модель БГД в среде любой инструментальной ГИС, становятся доступными для других без конвертирования данных.
Характерной особенностью ГИС аэропорта "Борисполь" является использование электронного каталога объектов и их атрибутов [7] во всех программах работы в БГД для формирования экранных форм визуализации и редактирования атрибутов объектов, формирование запросов и отчетов. Такая реализация программных средств позволяет при необходимости оперативно расширять состав атрибутов объектов в БГД и автоматически генерировать соответствующие экранные формы только на основе изменения электронного каталога объектов и их атрибутов без внесения изменений в программы.
Сейчас ранний период развития геоинформатики многие исследователи характеризуют как ГИС-центричный или инструментально-ориентированный с узкоспециальной технологии, прежде всего для нужд профессиональных пользователей и исследователей. При этом географическая информация рассматривается с трех позиций, а именно: управление геопространственными данными, картографирования, пространственный анализ. Д. С. Сунь и М. Ф. Гудчайлд [19] утверждают, что такой подход не позволяет охватить сущность геоинформационной технологии и ее социальные последствия. Они справедливо предположили, что пространственные данные также должны быть доступны и понятны для средств массовой информации. Последние определяются как средства передачи информации для нужд общественности. Они принадлежат к средствам массовых телекоммуникаций, которые могут обеспечить доступ к информации большому количеству людей практически в любом месте и в любое время. Поэтому в новой концепции геопространственной информации (рис. 3) выделяются четыре основные функциональные аспекты геопространственных данных, а именно: системы баз геопространственных данных, картография, коммуникация и пространственный анализ, каждый из которых обслуживает одну или более конкретных, но взаимосвязанных прикладных областей ( на схеме их обозначено прямоугольными блоками).
Рис. 3. Новая концепция функций геопространственной информации
Компонента баз геопространственных данных играет основную и решающую роль в новой концепции применения географической информации и новой архитектуре геоинформационных систем как составляющей инфраструктуры геопространственных данных. Ориентирован на базы данных, такой подход позволяет существенно повысить эффективность использования геопространственной информации в системах поддержки принятия решений по сравнению с традиционным ГИС-центричным подходом.
1. Карпинский, Ю.А. Украинская картографическая сеть в Internet [Текст] / Ю.А. Карпинский, А. А. Лященко, О. Кобчик, С.А. Иванченко // ВЧ. зап. ТНУ. Сэр: География. - Т. 17. - 2004. - № 2. - С. 111-118.
2. Лященко, А.А. Концептуальное моделирование геоинформационных систем [Текст] / А.А. Лященко // Вестн. геодез. и картограммы. - 2002. - № 4. - С. 44-50.
3. Лященко, А.А. Реляционные модели и пространственная индексация геоданных [Текст] / А.А. Лященко // Инж. геодез. - 2000. - Вып. 43. - С. 139-150.
4. Лященко, А.А. Определение параметров для пространственной индексации объектов в базах геопространственных данных кадастровых ГИС [Текст] / А.А. Лященко // Инж. геодез. - 2001. - Вып. 46. - С. 158-166.
5. Лященко, А.А. Исследование специальных методов доступа к базам геопространственных данных [Текст] / А. Лященко, В. Смирнов, А. Ципенко // Современные достижения геодезической науки и производства: сб. наук. пр. - Л .: Лига-Пресс, 2004. - С. 313-321.
6. Лященко, А.А. Концептуальные модели геопространственных данных [Текст] /А.А. Лященко, В.В. Смирнов, С. Иванченко // Инж. геодез. - 2005. - Вып. 51. -С. 216-226.
7. Рунець, Р. В. Структура и функции базы данных электронного каталога топографических объектов [Текст] / А. В. Рунець, А. Черинь // Вестн. геодез. и картограммы. - 2010. - № 3. - С. 31-35.
8. под, А. Стандартизация геоинформационных сервисов [Текст] / А. Черинь // Вестн. геодез. и картограммы. - 2009. - № 4. - С. 34-39.
9. Шаши, Шекхар. Основы пространственных баз данных [Текст] / Ш. Шекхар, С. Чаул; пер. с англ. - М .: Кудиц-образ, 2004. - 336 с.
10. DB2 Spatial Extender. User's Guide and Reference, Version 8.1. - IBM Corp, 2002.
11. ISO 19125-1: 2004 (E). Geo -graphic information - Simple feature access. - Part 1: Common architecture. - ISO, 2004.
12. ISO 19125-2: 2004 (E). Geo graphic information -Simple feature access. - Part 2: SQL option. - ISO, 2004.
13. ISO / IEC 13249-3: 2002 FDIS. Informational technology - Database languages - SQL Multimedia and Application Packages. - Part 3: Spatial, 2-nd edition. -ISO / IEC, 2002.
14. OpenGIS Simple Features Specification For SQL. Re vision 1.1. OpenGIS Project Document 99-049. - Open GIS Consortium. - May 5, 1999.
15. Oracle Spatial Option. User's Guide and Reference, Re lease 9.0.1. - Oracle Corp, 2001.
16. Regina, O. Obe. PostGIS in Action [Техt] / O. Obe Regina, L.S.Hsu. - Manning Publications, 2011. - 450 p.
17. Rigaux, Ph. Spatial Databases with Application to GIS [Техt] / Ph. Rigaux, M. Schol, A. Voisard. - CA, USA: Academic Press, 2002. - 410 p.
18. Spatial databases: technologies, techniques and trends [Техt] / Yа. Manolopoulos, A. N. Papadopoulos and M. Gr. Vassilakopoulos [Editors]. - Idea Group Inc, 2005. - 340 p.
19. Sui, D.Z. GIS as Media? [Техt] / D.Z. Sui, M.F. Good child // Guest Editorial, International Journal of Geo -graphical Information Science. -2001. - Vol. 15. - No. 5. -Р. 387-390.
20. Yeung, A-K.W. Spatial database system: design, implementation and project management [Техt] / A.-K.W. Yeung, B. G. Hall // The GeoJournal Library. 2007. - Vol.87. - 553 p.
21. Zeiler, M. Modeling Our World [Техt] / M. Zeiler // The ESRI Guide to Geodatabase Design. - USA: ESRI Press, 1999. - 199 p.