Python как подключиться к кубами

Библиотека python для работы с ssas

Есть библиотека olap.xmla на PyPI, вот достаточно подробный пример её применения.

Помимо этого есть вариант использования IronPython и соответствующих DLL, небольшой пример можно посмотреть здесь.

Отслеживать
ответ дан 25 мая 2019 в 7:24
9,848 5 5 золотых знаков 29 29 серебряных знаков 58 58 бронзовых знаков

• python
• python-3.x
• olap
• ssas

Важное на Мете

Похожие

Подписаться на ленту

Лента вопроса

Для подписки на ленту скопируйте и вставьте эту ссылку в вашу программу для чтения RSS.

Дизайн сайта / логотип © 2024 Stack Exchange Inc; пользовательские материалы лицензированы в соответствии с CC BY-SA . rev 2024.1.9.3159

Нажимая «Принять все файлы cookie» вы соглашаетесь, что Stack Exchange может хранить файлы cookie на вашем устройстве и раскрывать информацию в соответствии с нашей Политикой в отношении файлов cookie.

Организация OLAP куба средствами Python

Добрый день, уважаемые читатели.
Сегодня я расскажу вам о том, как можно построить простенькую систему анализа данных на Python. В этом мне помогут framework cubes и пакет cubesviewer.
Сubes представляет собой framework’ом для работы с многомерными данными с помощью Python. Кроме того он включает в себя OLAP HTTP-сервер для упрощенной разработки приложений отчетности и общего просмотра данных.
Сubesviewer представляет собой web-интерфейс для работы с вышеуказанным сервером.

Установка и настройка cubes

Для начала надо установить библиотеки, необходимые для работы пакета:

pip install pytz python-dateutil jsonschema pip install sqlalchemy flask 

Далее устанавливаем сам пакет cubes:

pip install cubes 

Как показала практика, лучше использовать версию (1.0alpha2) из текущего репозитория.

Доп настройки под windows

Если вы планируете работать под Windows необходимо в файле \Lib\site-packages\dateutil\tz.py заменить 40 строку:

return myfunc(*args, **kwargs).encode() 

return myfunc(*args, **kwargs)

Затем, вне зависимости от платформы на которой вы работаете, нужно добавить следующий fix для корректной работы json-парсера. Вносить его надо в \Lib\site-packages\cubes-1.0alpha-py2.7.egg\cubes\metadata.py начиная с 90 строки:

elif len(parts.scheme) == 1 and os.path.isdir(source): # TODO: same hack as in _json_from_url return read_model_metadata_bundle(source) 

Описание настройки куба и процесс его разворачивания

• slicer.ini — файл настроек http сервера нашего куба
• model.json — файл с описание модели куба

• [workspace] – конфигурация рабочего места
• [server] — параметры сервера (адрес, порт и тд.)
• [models] — список моделей для загрузки
• [datastore] или [store] – параметры хранилища данных
• [translations] — настройки локализации для модели.

• name – имя модели
• label – метка
• description – описание модели
• locale – локаль для модели (если задана локализация)
• cubes – список метаданных кубов
• dimensions – список метаданных измерений
• public_dimensions – список доступных измерений. По умолчанию все измерения доступны.

Ключ	Описание
name	идентификатор измерения
label	Имя измерения видное пользователю
description	описание измерения для пользователей
levels	Список уровней измерений
hierarchies	Список иерархий
default_hierarchy_name	Идентификатор иерархии

Элемент списка cubes, содержит следующие метаданные:

Ключ	Описание
name	идентификатор измерения
label	Имя измерения видное пользователю
description	описание измерения для пользователей
dimensions	список имен измерений заданных выше
measures	список мер
aggregates	список функций агрегации мер
mappings	задание разметки логических и физических атрибутов

• category. Отображаемое имя «Category», поля «category», «category_label»
• subcategory. Отображаемое имя «Sub-category», поля «subcategory», «subcategory_label»
• line_item. Отображаемое имя «Line Item», поле «line_item»

python prepare_data.py 

Теперь осталось только запустить наш тестовый сервер с кубом, который называется slicer:

slicer serve slicer.ini 

После этого можно проверить работоспособность нашего куба. Для этого в строке браузера можно ввести:
localhost:5000/cube/irbd_balance/aggregate?drilldown=year
В ответ мы получим json-объект с результатом агрегации наших данных. Подробнее о формате ответа сервера можно почитать тут.

Установка cubesviewer

Когда мы настроили наш куб, можно приступить к установке сubesviewer. Для этого надо скопировать репозиторий себе на диск:

git clone https://github.com/nonsleepr/cubesviewer.git 

А потом просто переместить содержимое папки /src в нужный место.
Надо отметить, что сubesviewer является Django-приложением, поэтому для его работы необходим Django (не выше версии 1.4), а также пакеты requests и django-piston. Т.к. данная версия Django уже устарела, то выше я привел ссылку откуда можно взять сubesviewer для версии Django 1.6.
Установка ее немного отличается от оригинала тем, что в файл конфигурации сервера slicer.ini в раздел [server] нужно добавить строку allow_cors_origin: localhost:8000
После этого надо настроить приложение в файле /web/cvapp/settings.py. Указав ему настройки БД, адрес OLAP сервера (переменная CUBESVIEWER_CUBES_URL ) и адрес просмоторщика ( CUBESVIEWER_BACKEND_URL )
Осталось внести небольшой fix в dajno-piston
Теперь можно синхронизировать наше приложение с БД. Для этого из /web/cvapp нужно выполнить:

python manage.py syncdb

Осталось запустить локальный сервер Django

python manage.py runserver

Теперь осталось зайти на указанный в CUBESVIEWER_BACKEND_URL адрес через браузер. И наслаждаться готовым результатом.

Заключение

Для иллюстрации работы я взял самый простой пример. Надо отметить что для производственных проектов cubes можно развернуть например на apache или uswgi. Ну а подключить к нему сubesviewer с помощью этой статьи не составит труда.
Если тема будет интересна сообществу, то я раскрою ее в одной из будущих статей.

Использование данных из кубов OLAP на языке R

olapR — это пакет R в Службах машинного обучения SQL Server, который позволяет выполнять запросы многомерных выражений для получения данных из кубов OLAP. При использовании этого пакета вам не нужно создавать связанные серверы или очищать плоские наборы строк; данные OLAP можно получать напрямую из R.

В этой статье описывается этот API, а также приводятся общие сведения об OLAP и многомерных выражениях для пользователей R, которые не знакомы с базами данных многомерных кубов.

Экземпляр Analysis Services может поддерживать либо стандартные многомерные кубы, либо табличные модели. Одновременная поддержка обоих типов моделей невозможна. Соответственно, прежде чем пытаться выполнить запрос многомерного выражения к кубу, убедитесь, что ваш экземпляр Analysis Services содержит многомерные модели.

Что представляет собой куб OLAP?

OLAP — это технология интерактивной аналитической обработки данных. Решения OLAP часто используются для сбора и хранения критически важных данных. Многие инструменты, панели мониторинга и визуализации используют данные OLAP для бизнес-аналитики. Дополнительные сведения см. в разделе Интерактивная аналитическая обработка.

Корпорация Майкрософт предлагает службы Analysis Services, с помощью которых вы можете разрабатывать, развертывать и запрашивать данные OLAP в форме кубов или табличных моделей. Куб — это многомерная база данных. Измерения аналогичны аспектам данных или факторам в R: с помощью измерений определяется конкретное подмножество данных, которые требуется суммировать или анализировать. Например, одним из важнейших измерений является время, в связи с чем в большинстве решений OLAP по умолчанию определено множество разных календарей, которые применяются при создании срезов и суммировании данных.

В целях оптимизации производительности в базе данных OLAP часто заранее рассчитываются сводки (или агрегаты), которые сохраняются для более быстрого извлечения в дальнейшем. Сводки основываются на мерах, представляющих формулы, которые могут применяться к числовым данным. Таким образом, с помощью измерения определяется подмножество данных, для которого затем вычисляется мера. Например, с помощью меры можно рассчитать общую сумму продаж определенной линейки продуктов за несколько кварталов за вычетом налогов, средние затраты на доставку для конкретного поставщика, общий объем выплат по заработной плате с начала года на текущую дату и т. д.

Для выполнения запросов к кубам используются многомерные выражения. Многомерное выражение как правило содержит определение данных, которое включает одно или несколько измерений и как минимум одну меру. Тем не менее, этим возможности таких выражений не ограничиваются, и они могут включать скользящие интервалы, совокупные средние значения, суммы, ранги или процентили.

Ниже приводятся некоторые другие термины, которые могут быть полезны при работе с многомерными выражениями:

• При создании срезов получается подмножество данных куба с использованием значений из одного измерения.
• Присегментировании создается вложенный куб посредством указания диапазона значений для нескольких измерений.
• Детализация позволяет перейти от сводки к подробностям.
• Подъем позволяет перейти от подробностей к более высокому уровню статистической обработки.
• Свертка дает сводные данные по данным в измерении.
• Сводка поворачивает куб или выбранные данные.

Создание запросов многомерных выражений с помощью olapR

В следующей статье подробно описывается синтаксис, используемый при создании или выполнении запросов к кубу:

API olapR

Пакет OlapR поддерживает два метода создания запросов многомерных выражений:

• Использование конструктора многомерных выражений. Использование функций R в пакете для создания простого запроса многомерного выражения посредством выбора куба и последующей настройки осей и срезов. Это простой способ создания допустимых запросов многомерных выражений при отсутствии доступа к традиционным средствам OLAP или нехватке опыта работы с языком многомерных выражений. Этот способ подходит не для всех запросов, поскольку многомерные выражения могут быть сложными. Тем не менее, этот API поддерживает большинство наиболее распространенных и полезных операций, включая срезы, сегментирование, детализацию, свертку и сводку в N измерениях.

• Копирование и вставка готового многомерного выражения. Вы можете вручную создать и затем вставить любой запрос многомерных выражений. Этот вариант является оптимальным, если существуют запросы многомерных выражений, которые вы хотите использовать повторно, или если вы хотите создать запрос, который слишком сложен для обработки в olapR. После создания многомерного выражения с помощью любой клиентской программы, например SSMS или Excel, сохраните строку запроса. Укажите эту строку многомерного выражения в качестве аргумента для обработчика запросов SSAS в пакете olapR. Поставщик отправит запрос на указанный сервер служб Analysis Services и передаст результаты в R.

Примеры создания запроса многомерных выражений или запуска существующего запроса см. в разделе Создание запросов многомерных выражений с помощью R.

Известные проблемы

В этом разделе представлены некоторые известные проблемы, а также часто задаваемые вопросы, связанные с пакетом olapR.

Поддержка табличных моделей

При подключении к экземпляру Analysis Services, который содержит табличную модель, функция explore сообщает об успешном выполнении операции и возвращает значение TRUE. Тем не менее, объекты табличной модели отличаются от многомерных, а структура многомерной базы данных отличается от структуры табличной модели.

В табличных моделях как правило используется язык DAX (выражения анализа данных), тем не менее вы можете создавать допустимые запросы многомерных выражений к табличной модели, если вы уже знакомы с такими выражениями. Для построения допустимых запросов многомерных выражений к табличной модели нельзя использовать конструкторы olapR.

Извлечение данных из табличной модели с помощью запросов многомерных выражений неэффективно. Если вам необходимо получить данные из табличной модели для использования в R, рассмотрите следующие способы:

• Активируйте DirectQuery для модели и добавьте сервер в качестве связанного сервера в SQL Server.
• Если табличная модель построена на основе реляционного киоска данных, получите данные непосредственно из источника.

Как определить, содержит ли экземпляр табличные или многомерные модели?

Один экземпляр служб Analysis Services может содержать несколько моделей, но все они должны быть одного типа. Это связано с принципиальными различиями в способах хранения и обработки данных между табличными и многомерными моделями. Например, табличные модели хранятся в памяти и используют индексы columnstore для максимального ускорения вычислений. В многомерных моделях данные хранятся на диске, а агрегаты определяются заранее и извлекаются с использованием запросов многомерных выражений.

При подключении к Analysis Services с помощью клиента, такого как SQL Server Management Studio, вы можете определить поддерживаемый тип модели по значку базы данных.

Также для определения типа модели, который поддерживает экземпляр, можно просмотреть и запросить свойства сервера. Свойство Режим сервера поддерживает два значения: Многомерный и Табличный.

Общие сведения об этих типах моделей см. в следующей статье:

Дополнительные сведения о запросе свойств сервера см. в следующей статье:

Обратная запись не поддерживается

Запись результатов пользовательских вычислений R в куб невозможна.

В общем случае, даже если куб допускает обратную запись, поддерживаются только некоторые операции и при этом может потребоваться дополнительная настройка. Для таких операций рекомендуется использовать многомерные выражения.

• Измерения, доступные для записи
• Секции, доступные для записи
• Настраиваемый доступ к данным ячейки

Долго выполняющиеся запросы многомерных выражений, блокирующие процессы обработки куба

Несмотря на то, что пакет olapR осуществляет только операции чтения, долго выполняющиеся запросы многомерных выражений могут создавать блокировки, препятствующие процессам обработки куба. Всегда заранее тестируйте свои запросы многомерных выражений, чтобы точно знать возвращаемый ими объем данных.

При попытке подключиться к заблокированному кубу вы можете получить сообщение об ошибке, связанной с недоступностью хранилища данных SQL Server. В таком случае вы можете включить удаленные подключения, проверить имя экземпляра сервера и попробовать другие способы. Тем не менее, рекомендуется проверить наличие ранее открытых подключений.

Администратор SSAS может предотвращать связанные с блокировкой проблемы, определяя и завершая открытые сеансы. Также на уровне сервера к запросам многомерных выражений можно применить свойство, задающее время ожидания. Это позволит при необходимости принудительно завершать долго выполняющиеся запросы.

Ресурсы

Если вы впервые сталкиваетесь с OLAP или запросами многомерных выражений, см. следующие статьи в Википедии:

• Кубы OLAP
• Запросы многомерных выражений

Python как подключиться к кубами

Подключение Apache SuperSet к Apache Kylin

Apache Superset vs Apache Kylin

Комбинация решений с открытым исходным кодом открывает много возможностей для создания аналитических систем. В этом смысле использование кубов Apache Kylin как источник данных для дашбордов Apache SuperSet являются очень привлекательной идеей. Однако, их подключение не такая уж тривиальная задача.

Окружение:

— Apache SuperSet v.2.0
— Apache Kylin v.4.0.

В качестве примера будем использовать тестовый проект, который есть в Apache Kylin при установке.

Инструкция по подключению:

Superset требует установки драйвера базы данных Python DB-API и диалекта SQLAlchemy для каждого хранилища данных (далее ХД), к которому вы хотите подключиться. Apache Kylin не является исключением. Перечень библиотек для установки есть в документации по ссылке:

Находим необходимое нам ХД и устанавливаем.

Открываем SuperSet и настраиваем подключение к базе данных (далее БД):
а) В правом верхнем углу нажимает на кнопку «Settings» => «Database Connections»

Откроется список БД.

b) Нажимаем кнопку «+DATABASE» в правом верхнем углу над списком.

Откроется окно для настройки подключения

c) В выпадающем окне «SUPPORT DATABASES» выбираем Apache Kylin, откроется второй шаг настройки.

d) На втором шаге необходимо прописать:

— Название подключения «DISPLAY NAME» — введем название тестового проекта «learn_kylin»;
— Ссылку для подключения «SQLALCHEMY URL».
В общем виде строка для ссылке выглядит следующим образом:

Необходимо правильно ввести параметры пользователя, ip и порт БД, а также параметры подключения. С описанием параметров можно ознакомиться в таблице по ссылке:
https://github.com/Kyligence/kylinpy

В нашем случае комбинация параметров для корректного подключения выглядит так:

kylin://XXXX:XXXXXXXX@XXX.XXX.XXX.XXX:XXXX/learn_kylin?prefix=/kylin/api&version=v1.

Нажимаем «TEST CONNECTION», в правом нижнем углу появится сообщение об удачном подключении

Нажимаем «Finish» в списке появится запись с новой БД.