Есть ли способ SQL, чтобы узнать размер физической памяти таблицы в Spark SQL

Question

Базовый источник данных хранится в формате Parquet и предоставляется через Hive.

Можно ли использовать запрос SQL для запроса физического размера хранилища данной таблицы?

Answer 1

Два варианта: 1) Проверить размер файла базового файла. Пример: в HDFS используйте hadoop fs -du -s <path> 2) Вы можете попробовать использовать describe formatted <table>;