sparkSQL: «В задании не указан входной путь», но в spark-shell работает тот же оператор

Question

Во время выполнения кода зажигания в режиме клиента с использованием scala,

sqlContext.sql(select columname from databasename.tablename).agg(max(columname))

дает ошибку

"В задании не указан путь ввода".

Но то же самое утверждение работает прекрасно в repl.

Может ли кто-нибудь подсказать, почему возникает эта ошибка

Answer 1

Путем установки / удаления параметра конфигурации искры из spark-submit spark.sql.parquet.cacheMetadata=false. По умолчанию для этого параметра установлено значение true. Проблема решена после этого изменения.