Почему приемник памяти тянется к водителю и, следовательно, ограничен в размере, чтобы быть маленьким?

Question

просто пытаясь понять, как работать с потоковой структурой с искройОднако это говорит о том, что это работает только для небольших агрегированных таблиц.https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-sinks

Звучит очень неловко, так как искра является своего рода эталонной реализацией больших массивов данных в памяти.Планируется ли поддержка полноразмерных таблиц памяти со всеми режимами (добавление, завершение, обновление)?

Есть ли обходной путь в настоящее время?

Answer 1

Ответ на вопрос «почему» прост - приемник памяти в первую очередь является отладкой и не предназначен для производственного использования:

Это следует использовать в целях отладки

По другому вопросу:

Планируется ли поддержка полноразмерных таблиц памяти со всеми режимами (добавление, завершение, обновление)?

Оптимально этопотребует поддержки с малой задержкой, изменяемые таблицы и такие структуры в настоящее время находятся вне сферы действия Spark и не рассматриваются всерьез (хотя существуют некоторые проприетарные расширения, которые используют это направление).

Можно предположить, что такиеопция не будет существовать в ближайшем будущем (Spark 3.0), но, конечно, она может быть введена позже.