Подходит ли Apache Zeppelin для представления панели мониторинга нескольким пользователям?

Question

Другими словами, можно ли использовать Zeppelin в качестве замены Таблицы в небольшом масштабе?

У меня есть новый дизайн панели управления отчетами UI / UX.Данные для панели мониторинга поступают из реляционной базы данных (SQL Server).Эту панель мониторинга должны просматривать около 300 коллег в моей компании.Возможно, до десяти из них будут просматривать его одновременно.

В настоящее время панель мониторинга реализована в Kibana, и данные регулярно импортируются в Elasticsearch из SQL Server.Тем не менее, новый дизайн требует определенных виджетов и агрегатов данных, которые выходят за рамки возможностей Kibana.Кроме того, моя организация хочет перевести эту панель мониторинга на технологию, которая считается более знакомой для ученых, работающих с нами (Кибана не считает таковым).

Этот отчет и панель мониторинга можно перенести в Таблицу.Таблица достаточно мощная, чтобы выполнять желаемые агрегации данных и представлять все нужные виджеты.Однако мы не можем позволить себе стоимость лицензий, но мы можем тратить столько времени на разработку, сколько необходимо.

Я оценил несколько инструментов панели инструментов с открытым исходным кодом (Metabase и Superset), и у них нет агрегатов и виджетов, которые мынужно.Я бы не стал вдаваться в подробности, потому что вопрос не в специфике.Ясно, что метабаза и суперсет недостаточно мощны для наших нужд.

У меня сложилось впечатление, что Apache Zeppelin достаточно мощен с поддержкой произвольного кода Python (я бы использовал Pandas для агрегации данных), графиков ивиджеты.Однако я не уверен, что один экземпляр Zeppelin может поддерживать большое количество одновременных зрителей.

Мы хотели бы создать набор ноутбуков и сделать их доступными для всех коллег в организации (контроль доступа не являетсявопрос, мы доверяем друг другу).Записные книжки будут интерактивными с фильтрами данных и средствами выбора диапазона дат.

Похоже, у Zeppelin есть переключаемые режимы изоляции интерпретатора , которые мы можем использовать для изоляции сеансов различных пользователей друг от друга.Мой вопрос заключается в том, может ли один экземпляр t2.large AWS, на котором размещается Zeppelin, поддерживать до десяти пользователей, просматривающих отчеты, агрегированные в наборе данных по 300 тыс. Строк.Кроме того, есть ли какие-либо проблемы с юзабилити, из-за которых идея многопользовательского просмотра панели отчетности нецелесообразна для Zeppelin?

Answer 1

Я вижу пару вопросов, которые вы задаете:

1. Может ли Zeppelin заменить Tableau в небольшом масштабе? Это зависит от того, какие функции вы используете в Tableau,Каждая платформа имеет свой собственный набор функций, которые другие имеют или не имеют, а в Tableau есть множество параметров настройки, которые вы не найдете в других местах.Постарайтесь сделать так, чтобы ваша панель инструментов была преобразована в пропорции 1: 1, а затем согреть всех на мысли, что она будет выглядеть / работать немного по-другому, поскольку она на другой платформе.

2. Может ли t2.large, на котором размещается Zeppelin, поддерживать до 10 одновременных пользователей, просматривающих отчет, агрегированный по строкам 300 КБ? . T2.large должен быть более чем достаточно большим, чтобы запускать Zeppelin, Tableau, Superset и т. Д., Когда 10 одновременных пользователей тянутотчет с 300k строк.300 000 - это не так уж и много.

Хороший способ ускорить процесс и привлечь больше одновременных пользователей к существующей инфраструктуре - ускорить источники данных.Вот где происходит много вычислений агрегации.Анализ ваших ETL и попытка агрегирования могут помочь, а также убедиться, что ваши ученые не выполняют массивные запросы, замедляющие работу сервера базы данных.