При инициализации соединения с метастазами кустов (сохранение фрейма данных в виде таблицы в первый раз) в кластере 6.1 (включает в себя Apache Spark 2.4.4, Scala 2.11) (Azure), я вижу проверку работоспособности для сбой базы данных global_temp с ошибкой:
20/02/18 12:11:17 INFO HiveUtils: Initializing HiveMetastoreConnection version 0.13.0 using file:
...
20/02/18 12:11:21 INFO HiveMetaStore: 0: get_database: global_temp
20/02/18 12:11:21 INFO audit: ugi=root ip=unknown-ip-addr cmd=get_database: global_temp
20/02/18 12:11:21 ERROR RetryingHMSHandler: NoSuchObjectException(message:There is no database named global_temp)
at org.apache.hadoop.hive.metastore.ObjectStore.getMDatabase(ObjectStore.java:487)
at org.apache.hadoop.hive.metastore.ObjectStore.getDatabase(ObjectStore.java:498)
...
at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:430)
...
at py4j.GatewayConnection.run(GatewayConnection.java:251)
at java.lang.Thread.run(Thread.java:748)
Это не приводит к сбою сценария python, но загрязняет журналы.
Разве база данных global_temp не должна создаваться автоматически? Можно ли отключить проверку? или ошибка подавлена?