Недавно обновил логику с left_outer присоединения к full внешнему объединению, и я начал видеть эту ошибку:
ERROR util.ResourceLeakDetector: LEAK: ByteBuf.release() was not called before it's garbage-collected. See http://netty.io/wiki/reference-counted-objects.html for more information.
Recent access records:
Exception in thread "main" org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
Exchange SinglePartition
+- *(7) HashAggregate(keys=[], functions=[partial_count(1)], output=[count#945L])
Нашел похожую старую ошибку, но я считаю, что она должна быть исправлена к настоящему времени: https://issues.apache.org/jira/browse/SPARK-21181
Совершенно не знаю, как решить эту проблему.