Я знаю, что искра может транслировать один из источников, если размер источника меньше порога широковещания. Но я не могу понять, как искра определяет размер источника для сравнения с порогом. Потому что искра - это ленивая оценка. исходные данные не будут доступны при создании логического и физического плана.
Я перешел на SizeEstimater, но это всего лишь расчет размера объекта jvm.
так что вы можете помочь понять
Как спарк рассчитывает размер источника, чтобы определить, использовать ли мне трансляцию или нет в физическом плане. где исходные данные еще не прочитаны.