Я использую Spark- sql -2.4.1v. Мне нужно объединить два набора данных ds1 и ds2 (новый столбец) на основе некоторого поля. val resultDs = ds1.join (ds2,, "inner");
resultDs теперь содержат "новый столбец", но для записей, которые не встретились, этот "новый столбец" отсутствует. Следовательно, для этих записей мне нужно установить этот "новый столбец" нулевым / пустым.
Но в соответствии с моим бизнес-требованием мне нужно разделить resultDs на "новый столбец". Итак, как вообще обрабатываются такие сценарии ios? прошу совета.