sparklyr Поиск способа работы с сериями времени (hts, прогноз, таймкит или пророк) - PullRequest
Новая
       21

sparklyr Поиск способа работы с сериями времени (hts, прогноз, таймкит или пророк)

0 голосов
/ 07 июня 2018 
> data2_tbl <- copy_to(sc, FB_tbl) #sc as spark connection
> idx <- tk_index(data2_tbl)

Warning message:
In tk_index.default(data2_tbl) :
  `tk_index` is not designed to work with objects of class tbl_spark.

У меня есть пара вопросов к группе:

  1. Есть ли у sparklyr поддержка временных рядов, как у других алгоритмов ml_ *?
  2. Мы также попробовали и нашли пакет spark-ts, который поддерживает временные ряды в Spark.Я не нашел хороших материалов о том, как его использовать.У кого-нибудь есть какие-либо документы или опыт по этому поводу?

1 Ответ

0 голосов
/ 08 июня 2018

Есть ли у sparklyr поддержка временных рядов, как у других алгоритмов ml_ *?

Нет, потому что Спарк нет.Все методы ml_ или ft_ являются простыми обертками вокруг соответствующих алгоритмов Spark.

Мы также попробовали и нашли пакет spark-ts, который поддерживает временные ряды в Spark.

На данный момент не существует активно разработанного инструмента анализа временных рядов с открытым исходным кодом для Spark.И spark-timeseries, и flint, похоже, больше не поддерживаются.

Это частично отражает вычислительную модель Spark, которая плохо подходит для обработки временных рядов.Выражение последовательных отношений в Spark является сложным и обычно дорогим, и многие методы анализа временных рядов просто плохо подходят для распределенной обработки из-за их глобальных зависимостей.

...