Как я могу указать спарку собирать статистику по столбцам только для определенного раздела?
WARN SparkSqlAstBuilder: Partition specification is ignored when collecting column statistics: PARTITION(myPart='myValue')
, кажется, игнорирует мой фильтр:
ANALYZE TABLE ${fullyQualifiedTable}
PARTITION(${table.partitionColumn} = '$partitionVal')
COMPUTE STATISTICS
FOR COLUMNS ${co.mkString(", ")}