ElasticSearch глубокое обучение

Question

У меня есть индекс Elasticsearch, который регистрирует мою статистику скребка, такую ​​как статус ответа и используемые заголовки.Как сделать что-то вроде машинного обучения, чтобы сгенерировать догадку, какая комбинация заголовков будет успешной в будущем.можно ли сделать с простым Elasticsearch, если нет - какие плагины вы бы предложили.

Answer 1

Из того, что я узнал, ELK предоставляет только функции машинного обучения в расширении Kibana X-Pack, например, обнаружение аномалий и прогнозы ссылка .Для меня это бесполезно, потому что моей модели потребуется расширенная фильтрация данных, и я хочу визуализировать все свои прогнозы на панели инструментов.Если вы хотите делать собственные прогнозы, то единственный способ - это создать собственный сценарий для прогнозов или использовать какое-нибудь готовое решение ML, например, Машинное обучение Amazon .

.Elasticsearch как обычная база данных NoSQL и периодически извлекает необработанные данные из Elasticsearch с помощью запросов REST и перенаправляет их в созданный сценарий ML или веб-службу ML.Затем вы можете сохранить прогнозы в Elasticsearch в качестве нового индекса, который впоследствии можно будет визуализировать в Kibana.

               HTTP GET                                     HTTP PUT
Elasticsearch =========> Script(Filtering and Predictions) ==========> Elasticsearch 

Я все еще ищу лучшее решение для создания прогнозов, но на данный момент пользовательский сценарий кажется единственным вариантоми сейчас я его разрабатываю.