Перенос BI из SSAS Olap в бесплатный ElasticSearch - PullRequest
Новая
       36

Перенос BI из SSAS Olap в бесплатный ElasticSearch

0 голосов
/ 21 февраля 2020

Я работаю в компании, которая думает о переносе его структуры BI (SSAS Olap и Power BI) на ElasticSearch / Kibana. Наша BI работает в основном с агрегациями в виде суммы, максимума, минимума, числа, первого, последнего, среднего при агрегации на уровнях иерархии магазинов (уровень организации, уровень клиента, уровень подразделения и т. Д. c ...) и выражений между показателями нескольких магазинов. (получая по агрегации и находя первое / последнее по дате и времени), например, сумму, вычитание, умножение, деление, процент, мы также делаем некоторые манипуляции с датами. Всего мы работаем с более чем 1 миллиардом строк. До SSAS Olap мы работали с SQL Server OLTP, и наши запросы занимали много минут. Из-за этого мы переключаемся на OLAP, и теперь у нас есть наши агрегированные показатели за несколько секунд. Но лицензия Microsoft ломает наш новый бюджет, и теперь компании требуется бесплатное программное обеспечение. В настоящее время наше решение Business Intelligence не имеет интеллектуального анализа данных, ни машинного обучения, ни только мер агрегации на нескольких уровнях иерархии, а также операций между этими агрегациями.

И наше решение - это все локальное решение.

У меня есть 2 вопроса:

1 - С бесплатной лицензией / basi c Elasticsearch мы сможем перенести наше решение для бизнес-аналитики в ElasticEngine и выполнить все эти иерархии, агрегацию и поиск в операциях с несколькими уровнями?

2-С помощью бесплатного механизма / basi c Elasticsearch мы получим агрегирование этих мер между миллионами регистров и операциями между измерениями в то же время, что и наш куб OLAP?

С наилучшими пожеланиями,

Луис

1 Ответ

1 голос
/ 21 февраля 2020

В общем, можно использовать ElasticSearch так, как вы описали. Тем не менее, это имеет смысл только в том случае, если вы часто используете фильтрацию по тексту по столбцам «как», этот вариант использования идеально подходит для ElasticSearch. Все факты, необходимые для отчетов, должны быть включены в один документ ES; Избегайте использования вложенных коллекций, агрегированные запросы к полям из вложенных коллекций (вложенные запросы) могут снизить производительность.

Если все, что вам нужно, это чертовски быстрые агрегации и фильтрация с "точным соответствием", это может быть намного лучше использовать столбчатые SQL -совместимые базы данных:

  • Mem SQL - бесплатной версии должно хватить на 1 миллиард строк, это хороший выбор, если вам необходимо поддерживать использование обеих баз данных OLAP / OLTP (скажем, часто обновляйте строки)
  • Яндекс ClickHouse - бесплатный / открытый исходный код, подходит, если ваши данные только для добавления (без частых обновлений / удалений). Его совокупная производительность запросов действительно предельная, и он может обрабатывать запросы до 1 миллиарда строк достаточно быстро даже в конфигурации с одним узлом

Вы упомянули, что ваша существующая инфраструктура BI использует SSAS OLAP, и я могу Предположим, что многие отчеты являются сводными таблицами. Большинство бесплатных инструментов BI (включая Kibana) вообще не поддерживают сводные таблицы или только очень-очень примитивные базовые таблицы c. К счастью, существует хорошая альтернатива PowerBI / Excel PivotTable, но она не является полностью бесплатной. Здесь я имею в виду SeekTable : он может подключаться ко всем упомянутым мной БД (Mem SQL, ClickHouse) и даже к ElasticSearch [Отказ от ответственности: я связан с этим инструментом BI].

...