если мы используем пакет com.google.common.collect, мы можем элегантно найти симметричную разницу, например:
Set<Integer> s1 = Stream.of( 1,2,3,4,5 ).collect( Collectors.toSet());
Set<Integer> s2 = Stream.of( 2,3,4 ).collect( Collectors.toSet());
System.err.println(Sets.symmetricDifference( s1,s2 ));
Вывод будет: [1, 5]