Как объединить наборы данных Spark A и B и отметить записи в A, которые не были объединены?

Question

У меня есть два набора данных A и B с TypeA и TypeB соответственно. Затем я соединяю наборы данных, основанные на столбце (давайте назовем это «ключом»), чтобы получить набор данных C. После этого мне нужно отменить события в наборе данных A, которые были объединены с B, и сохранить только те события в A, которые не могли быть объединены. Как я go об этом?

Answer 1

То, что вы ищете, это левый анти-объединение. Проверьте это сообщение для получения более подробной информации Оставить Anti присоединиться к Spark?