Могу ли я использовать памятку для кэширования данных в hbase для чтения и записи из задания spark? - PullRequest
0 голосов
/ 28 сентября 2019

В проекте Scala, в котором есть задание Spark, я использовал соединитель Spark-Hbase (SHC) для подключения чтения из данных Hbase.Количество запросов очень велико, и я пытаюсь использовать кэшированные данные в течение определенного времени.Мне интересно, смогу ли я это сделать.Может быть, памятка может помочь?!

1 Ответ

0 голосов
/ 28 сентября 2019

Сам HBase предоставляет два разных типа кеша .

Способ кеширования данных в Spark заключается в использовании Pair RDDs .

. Вы можететакже используйте широковещательные переменные

О запоминании, помните, что оно локально для отдельного узла.Таким образом, вы можете хранить данные на узле и пропускать кэш на всех других узлах.

...