Сентябрь 2009

«Около 80% всех данных, хранящихся в корпоративных базах данных имеет пространственный компонент».

Карл Франклин

В последнее время возрос интерес в огромный потенциал геопространственных BI. Она направлена на сочетание географической информационной системы (ГИС) и технологии бизнес-аналитики (BI). Геопространственных данных BI сочетает пространственный анализ и карта визуализации с проверенных инструментов BI для лучшей поддержки процесса анализа корпоративных данных и чтобы помочь компаниям принимать более обоснованные решения.

BI-это бизнес управления термин, который относится к приложениям и технологии, которые используются для сбора, предоставления доступа к и анализировать данные и информацию о деятельности компании. BI приложения обычно используются для лучшего понимания исторических, текущие и будущие аспекты бизнес-операций. BI приложения обычно предлагают способы разминирования баз данных и электронных таблиц ориентированных данных для создания графических, на основе таблиц и других видов аналитики в отношении деловых операций. BI системы дают компаниям более всеобъемлющее знание факторов, влияющих на их бизнес, например показателей продаж, производства и внутренних операций, чтобы сделать лучше бизнес-решений.

Эта статья обеспечивает быстрое введение некоторых важных концепций BI. Затем подчеркивает необходимость геопространственных BI программного обеспечения и занимается с интеграцией пространственного компонента в стек программного обеспечения BI для того, чтобы последовательно включить гео аналитические инструменты. Затем мы представляем, различные выполненные работы и средства, разработанные исследовательской группой GeoSOA.

Быстрое введение в BI

BI приложения полагаются на сложную архитектуру программного обеспечения, которое обычно состоит из:

  • Извлечение/преобразование/Загрузка (ETL) для извлечения данных из различных разнородных источников, обеспечивают интеграцию и очистку данных в соответствии с целевой схемой или структуры данных и загрузить данные в хранилище данных.

  • Хранилище данных, где хранятся исторические данные организации для целей анализа.

  • Сервер оперативной аналитической обработки (OLAP), который обеспечивает быстрое и гибкое изучение и анализ большого объема данных, хранящихся в хранилище данных.

  • На стороне клиента, некоторые средства составления отчетов, панелей мониторинга и/или различных клиентов OLAP для отображения информации в виде графической и резюме для директивных органов и руководителей. Эти инструменты предлагают возможности для интерактивного просмотра данных и поддержки процесса анализа.

  • При необходимости некоторые средства интеллектуального анализа данных для автоматического извлечения тенденций, моделей и явлений в данных.

На рисунке 1 показана типичная инфраструктура, на которой BI приложения полагаются.

Рисунок 1: Классическая архитектура для развертывания приложений BI

Рисунок 1

Хранилище данных играет центральную и решающую роль в этой архитектуре. Это хранилище исторических данных Организации. Отдельно от источников оперативных данных, но часто хранятся в системах управления реляционными базами данных. Хранилища данных оптимизированы для обработки больших объемов данных, обеспечивая быстрое реагирование во время процесса анализа и обработки сложных аналитических запросов. Они полагаются на схемы де нормализованных данных, которые представляют некоторую избыточность очень быстрых ответов времени запросов, участвующих в аналитических запросов.

Хранилище данных уделяет больше внимания анализу и корреляции большого количества данных, чем на получение или обновление точного набора данных. Это принципиально отличается от функции транзакционных баз данных систем, используемых в повседневной деятельности компании.

Содержимое хранилища данных часто представлены в обобщенном виде в первую очередь для аналитиков и руководителей. Рисунок 2 иллюстрирует различные инструменты от Pentaho, используемых для представления, изучения и анализа данных.

Рисунок 2: Панели мониторинга, отчеты и средства интеллектуального анализа данных

Рисунок 2

Для запроса хранилища данных, эти инструменты обычно используют язык запросов многомерных выражений (MDX), осуществляемого сервером OLAP. Язык многомерных выражений является стандартом де-факто от Microsoft, которая также осуществляется другими OLAP серверами и клиентами. MDX-это для данных кубов OLAP что язык структурированных запросов (SQL) — для реляционных баз данных. Запросы похожи на SQL, но полагаться на модель ближе к используемой в электронных таблицах.

Программное обеспечение клиента OLAP предлагают альтернативные представления режимы, такие как круговые диаграммы и диаграммы и различные инструменты для уточнения запросов и просмотра данных. Эти инструменты основаны на операторов, предоставляемых языком запросов многомерных выражений и сложной логики в клиенте. Пространственный компонент данных можно использовать для повышения опыта пользователей BI с дисплеями карты и пространственного анализа инструментов для лучшей поддержки процессов анализа и принятия решений.

Слияние BI и программного обеспечения для ГИС

Это трудно для решения ответить на сложные вопросы, как: где находятся городские пятна, которые более чувствительны к жары, интенсивный дождь, наводнения или засухи в конкретном географическом районе? Сколько людей с сердечно-сосудистой, дыхательной, неврологические и психологические заболевания будут в 2025 году и 2050 в конкретном географическом районе? Сколько людей с низкими доходами живут одни в здании, требующих капитального ремонта в конкретном географическом районе?

Чтобы ответить на такие вопросы, вы можете использовать:

1. ГИС: подразумевает написание очень сложных SQL-запросов и выделенные людские ресурсы. Кроме того эту работу необходимо заново при каждом изменении данных или новые анализы должны быть достигнуты.

2. классические инструменты BI: зачастую не могут обрабатывать пространственные измерения данных или только предоставляют очень базовую поддержку. Некоторые явления могут только надлежащим образом отмечено и толковать, представляя их на карте. Это особенно верно, когда вы хотите наблюдать пространственное распределение явления или его spatiotemporal эволюции.

Геопространственных данных BI недавно вызвал заметный интерес огромный потенциал объединения пространственного анализа и карты визуализации с проверенных инструментов BI.

Инструменты, недавно сделанные имеющиеся на рынке полагаются на слабую связь между существующим программным обеспечением ГИС и некоторые проверенные компоненты BI. Они обеспечивают первые решения для отображения карты с кратко и агрегированные информацию, получаемую BI инфраструктуры, а ГИС данные хранятся и управляются в отдельной и транзакционной базы данных системы или файл данных ГИС. Эти решения управляют геопространственных и корпоративных данных в различных системах, которые требуют дополнительных усилий, ресурсов и расходов постоянно кормить и поддерживать их. Они также в полной мере не принимайте мощные аналитические возможности классической инфраструктуры BI и обычно не имеют возможности для обработки очень больших объемов данных. Эта свободная муфта часто требует разработки специализированных приложений каждый раз, когда возникает новая аналитическая потребность в компании.

Тип данных geometry, на котором основывается геопространственных данных не обрабатывается, как любой другой тип данных в инфраструктуре BI и соединения с ГИС должны тщательно инициировать и поддерживать. Просверлите вниз и потому, что они не являются встроенные операторы, доступные в ГИС roll-up возможности в аналитических данных для наблюдения за данными на различных уровнях детализации, времени или масштаб отображения карты часто не поддерживаются. Это объясняется главным образом транзакционной структуры геопространственных данных базового программного обеспечения ГИС. Структуры данных, которые используют инструменты BI являются более эффективными для быстрого ответа на сложные аналитические запросы, которые будут задействованы многочисленные запросы времени соединения в транзакционной системе.

Последовательно интеграция геопространственных компонентов во всех частях архитектуры BI требуется. На рисунке 3 показано, что все компоненты инфраструктуры бизнес-Аналитики должны быть spatially включен.

Рисунок 3: Интеграция пространственного компонента в классической инфраструктуры BI

Рисунок 3

Некоторые пространственные возможности, такие как поддержка для чтения и записи ГИС форматов файлов преобразования координат, и пространственные системы отсчета должны быть введены в инструменты ETL. Серверы OLAP следует стать фактической пространственной он-лайн аналитической обработки (SOLAP) серверов. SOLAP следует обеспечить последовательную обработку геопространственных функций, карта отображает и возможности пространственного анализа. SOLAP серверы и клиенты должны «позволяют быстро и легко перемещаться в пределах хранилищ пространственных данных и предлагают много уровней детализации информации, многие темы, много эпох и многие режимы отображения информации, синхронизированные или нет: карты, таблицы и диаграмм».

В этой перспективе и для того, чтобы не изобретать колесо, исследовательская группа GeoSOA в Лавальском университете, Квебек, Канада начала последовательно и полностью интегрировать геопространственных функций в существующий, зрелый, эффективных и известных открытых источник BI программного стека.

Стек программного обеспечения полностью открытым исходным кодом BI предлагает Pentaho. Она включает в себя:

  • ETL инструмент для интеграции данных из разнородных источников в хранилище данных

  • сервер OLAP, который предоставляет многомерных запросов на верхней части хранилища данных

  • отчеты и панели мониторинга инструменты, используемые для представления данных для аналитики

Интеграция Pentaho suite программного обеспечения с открытым исходным кодом ГИС компонентов была исследована для создания полного решения BI spatially поддержкой. Эта работа привела к осуществлению GeoKettle, GeoMondrian и SOLAPLayers.

GeoKettle

GeoKettle-это пространственно включена версия из Pentaho интеграции данных (PDI), ранее известный как чайник. Это мощный, управляемые метаданные пространственных ETL инструмент, посвященный интеграции различных пространственных источников данных для создания и обновления хранилищ геопространственных данных. GeoKettle позволяет прозрачной обработки типа данных geometry как любой другой тип классических данных для всех преобразований в чайник. Можно получить доступ к объектам геометрии в JavaScript и определить пользовательские преобразования шаги. Топологическая предикаты все были реализованы.

GeoKettle был выпущен под LGPL. На рисунке 4 показан интерфейс пользователя GeoKettle, показаны Преобразование основных геопространственных данных.

Рисунок 4: GeoKettle интерфейс

Рисунок 4

В настоящее время Oracle пространственных, PostGIS и MySQL с шейп-файлы ESRI поддерживаются в чтения и записи режимов. В настоящее время, Microsoft SQL Server 2008, Энгра, и IBM DB2 можно использовать с некоторыми изменениями. Можно построить и кормить сложных и очень больших геопространственных хранилищ данных с GeoKettle. Пространственной привязки системы управления и координации преобразований были полностью выполнены. Встроенная поддержка неподдерживаемых геопространственных баз данных и растровых и векторных на основе данных форматов будут реализованы в ближайшем будущем как активное и растущее сообщество федеративное вокруг проекта.

GeoKettle релизы выравниваются с PDI, что позволяет GeoKettle использовать все новые возможности, предоставляемые PDI. Например чайник изначально предназначен для развертывания в средах кластера и веб-службы. Это делает GeoKettle подходит для развертывания в качестве службы в облачных средах. Это позволяет масштабируемой, распределенных и по требованию обработки больших и сложных объемов геопространственных данных в минуты для критически важных приложений, не требуя компании инвестировать в дорогостоящей инфраструктуры серверов, сетей и программного обеспечения.

Предстоящие функции в GeoKettle включают:

  • картографический предварительный просмотр

  • Реализация данных соответствующих шагов, чтобы разрешить очистку геометрических данных и сравнение наборов геопространственных данных

  • чтения/записи поддержки для других баз данных, ГИС форматов файлов и геопространственных веб-служб

  • Встроенная поддержка MS SQL Server 2008 и Энгр

  • реализация пространственного анализа шаг через графический интерфейс

GeoMondrian

GeoMondrian это пространственно включена версия Pentaho Analysis Services (Mondrian). Он был выпущен под АПЛ.

Насколько мы знаем, GeoMondrian является первой реализацией сервера СОЛОПА. Он обеспечивает последовательную интеграцию пространственных объектов в структуру куба данных OLAP, вместо извлечения их из отдельной базы пространственных данных, веб-службы или файла ГИС. Чтобы сделать простую аналогию, GeoMondrian приносит Mondrian OLAP сервер PostGIS приносит системы управления базами данных PostgreSQL. Он реализует собственный геометрический тип данных и предоставляет пространственные расширения языка запросов многомерных выражений, что позволяет внедрить возможности пространственного анализа в аналитические запросы.

Эти геопространственные расширения языка запросов многомерных выражений предоставляют гораздо больше возможностей, таких как:

  • конструкторы в линии геометрии

  • член фильтры, основанные на топологических предикатов

  • пространственные вычисляемые элементы и меры

  • расчеты, основанные на скалярных атрибутах, производных от пространственных функций

В настоящее время GeoMondrian поддерживает только PostGIS на основе хранилищ данных, но другие базы данных должны поддерживаться в ближайшее время.

SOLAPLayers

Ранее известный как Spatialytics, SOLAPLayers является легкий веб-картографический компонент, который обеспечивает навигацию в SOLAP данных кубов. Она стремится быть интегрированы в существующие рамки панели мониторинга для создания интерактивных гео аналитических панелей. Первая версия SOLAPLayers проистекает из Google Summer кода (GSoC) 2008 проект осуществляется под эгидой OSGeo. Клиент выпущен под лицензией BSD и сервер под АПЛ.

SOLAPLayers основана на OpenLayers веб-сопоставления клиента и использует olap4j для подключения к источникам данных OLAP. На данный момент он требует GeoMondrian для отображения элементов измерения геопространственных данных на карте. SOLAPLayers позволяет:

  • связь с пространственными сервером OLAP, например GeoMondrian

  • Навигация в геопространственных данных кубов

  • картографическая представление некоторых мер и членов геопространственного измерения как статические или динамические хороплетовых карты и градуированные символы

Демо-приложение доступна в Интернете. Он демонстрирует взаимодействие с GeoMondrian и как выполняется картографической навигации в Кубе геопространственных данных.

Предстоящие возможности в разработке для SOLAPLayers включают:

  • управляемые карты операторов навигации OLAP

  • элементы управления выбора и навигации члена измерения

  • Отображение условных обозначений

  • новые хороплетовых и стили отображения графики

  • стили для других геометрических типов

  • Multi карты

Заключение

Эта статья подчеркивает необходимость геопространственных BI программного обеспечения и подчеркнул, что пространственно включение стека программного обеспечения BI требует последовательной интеграции пространственного компонента и его функциональности в каждый компонент инфраструктуры BI. Работы, выполняемые исследовательской группы GeoSOA привели к освобождению трех открытых строительных блоков последовательной и мощный гео BI программного стека.

На основе этих ключевых программных компонентов, будущее работает дело с дизайном гео аналитической dashboard framework. Для того, чтобы легко разрабатывать и доставить панелей мониторинга, которые внедрить некоторые компоненты геопространственных данных и представлений, требуется очень настраиваемый и гибкий гео аналитическая dashboard framework. Первая интеграция SOLAPLayers с JasperServer и iReport недавно была проведена в исследовательской группы GeoSOA. Результатом этой интеграции позволяет отображать информацию в по-разному и синхронизации между различными представлениями, когда пользователь сверла вниз или рулоны на карте или диаграммы.

В последнее время некоторые эксперименты, касающиеся интеграции SOLAPLayers в Pentaho сообщества Dashboard Framework (СГО) были выполнены в рамках GSoC 2009, под эгидой OSGeo.

Интеграция работы студента в этот период позволяет отображать картографический компонент SOLAPLayers вместе с компонентом сводной таблицы в панели мониторинга CDF. Синхронизация между картой и Сводная таблица была выполнена. Необходима дальнейшая работа для того, чтобы правильно и последовательно интегрировать компонент SOLAPLayers в CDF, но он представляет собой хороший и перспективным первый шаг на пути к разработке рамок очень настраиваемый и гибкий гео аналитическая панель. Живая демонстрация интеграции работы, выполняемой студентом будет доступна в ближайшее время. Исходный код также будет доступен в репозитории GSoC 2009.

Читателю предлагается провести презентацию о исследования проблем, касающихся интеграции пространственных компонентов в BI-инструментов и разработки интеллектуальных мобильных приложений для лучшей поддержки принятия решений. Эти проблемы исследований в настоящее время являются частью исследовательской программы исследовательской группы GeoSOA.

Эта статья — короткая версия оригинальной бумаги, написанные для этого специального выпуска по бизнес-аналитики для OSBR. Полную версию можно свободно скачать здесь.

 

Доля этой статьи:

Цитируете эту статью:

Оцените содержание: 
Нет голосов были поданы еще. Скажи свое слово!

Добавить новый комментарий

Обычный текст

  • Теги HTML не разрешены.
  • Адреса электронной почты и адреса страниц включите в ссылки автоматически.
  • Строки и параграфы переносятся автоматически.