Как переслать данные в Power Bi из Filebeat Shipper - PullRequest
Новая
       21

Как переслать данные в Power Bi из Filebeat Shipper

1 голос
/ 07 мая 2019

У меня есть приложение, которое регистрирует взаимодействия с пользователем и сохраняет их в файле log.json.

Раньше я использовал Humio в качестве аналитического инструмента, но теперь я хотел бы использовать Power Bi.

У меня есть поставщик данных, Filebeat, который пересылает данные журнала (до Humio).

Теперь я хотел бы знать, возможно ли использовать Filebeat для пересылки данных в Power Bi.

А если так - как ???

Вот так выглядел мой filebeat.yml при отправке в Humio 

#======== Filebeat inputs ===========
filebeat.inputs:

- paths:
- path\to\audit_log\*

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:

hosts: ["https://cloud.humio.com:443/api/v1/dataspaces/audit_log/ingest/elasticsearch"]
username: myUsername
password: myPassword

Есть ли у вас какие-либо предложения о том, как выводить.asticsearch должен выглядеть так, как если бы я хотел использовать Power Bi?

Я пытался следовать инструкциям: https://docs.microsoft.com/en-us/power-bi/developer/walkthrough-push-data

Но мне нужна помощь - мне не хватает некоторых знаний илипонимание.

Или руководство, которое ближе к моей реальной проблеме.

Заранее!

1 Ответ

0 голосов
/ 10 мая 2019

вы не сможете отправить данные напрямую из filebeat в BI.Что вам нужно, так это какая-то трансформация, поскольку структура JSON набора данных BI отличается от JSON, созданного Filebeat.

Посмотрите на Logstash, он является частью эластичного стека, а Filebeat создан для отправкиданные в Logstash.Вам просто нужно применить небольшое изменение в filebeat.yml

. В Logstash вам необходимо настроить конвейеры Extract Transform Load (также известные как ETL), чтобы получить (E) все события из filebeat ипреобразуйте (T) их в структуру JSON, требуемую API-интерфейсом REST Power BI (https://docs.microsoft.com/de-de/rest/api/power-bi/pushdatasets/datasets_postdataset)), и, наконец, отправьте HTTP-запрос (L) к экземпляру BI.

...