Будет ли 2 искра приложение вызвать любой в последовательности - PullRequest
Новая
       41

Будет ли 2 искра приложение вызвать любой в последовательности

1 голос
/ 09 июля 2019

Будет ли 2 искра приложением вызывать любое соответствие

У меня есть 2 искровых приложения. Один из них записывает данные через Hive Metastore, как показано ниже: 

df.write
  .option("path", "adl:///test-data/hive_tables")
  .mode(SaveMode.Append)
  .format("json")
  .partitionBy("col1")
  .saveAsTable("sample")

Пока другие читают данные из той же таблицы, как показано ниже: 

spark.read.table("sample")

Если оба задания выполняются параллельно, есть ли вероятность того, что данные, прочитанные вторым приложением, будут несовместимыми? Если так, как я могу избежать этого

...