Как запросить сохраненный кадр данных в искровом задании (A) из другого искрового задания (B) - PullRequest
1 голос
/ 30 марта 2019

diagram В разных контейнерах выполняются две задачи потокового воспроизведения - назовем их работой учителя и студентом.Оба читают из двух разных тем кафки.Когда сообщение ученика поступает на искровую работу ученика, мне нужно «запросить» постоянные данные задания учителя, чтобы извлечь учителя, связанного с этим учеником (в этом примере у ученика есть только один учитель, но у учителя может быть много учеников).Как я могу сохранить пару ключ-значение (или фрейм данных учителя) в работе учителя, а затем извлечь / найти этого учителя в работе ученика, чтобы я мог обработать этого ученика, зная, что он учитель?Могу ли я использовать persist () в одной работе и unpersist () в другой?

1 Ответ

1 голос
/ 31 марта 2019

Из доказательств видно, что Spark Structured Streaming с интеграцией Kafka, использующей Stream - Stream Join, - это путь.

...