Я использую VectorAssembler на кадре данных из 240 столбцов (и 2 строки), а затем я делаю Correlation.corr ().У VectorAssembler нет проблем с преобразованием 240 столбцов в 2 огромных больших вектора.Однако корреляция Пирсона, похоже, не в состоянии обработать 2 больших вектора по 240 элементов каждый со следующей ошибкой:
java.lang.StackOverflowError: null at org.apache.spark.util.ByteBufferOutputStream.write(ByteBufferOutputStream.scala: 40) ~ [spark-core_2.11-2.2.1.jar: 2.2.1] в java.io.ObjectOutputStream $ BlockDataOutputStream.write (ObjectOutputStream.java:1842) ~ [na: 1.8.0_181]в java.io.ObjectOutputStream.defaultWriteFields (ObjectOutputStream.java:1534) ~ [na: 1.8.0_181] в java.io.ObjectOutputStream.defaultWriteObject (ObjectOutputStream.java:441) ~ [na: 1.8.0_181] в scala.immutable.List $ SerializationProxy.writeObject (List.scala: 465) ~ [scala-library-2.11.8.jar: na] at sun.reflect.GeneratedMethodAccessor48.invoke (Неизвестный источник) ~ [na: na] на солнце.refle.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) ~ [na: 1.8.0_181] в java.lang.reflect.Method.invoke (Method.java:498) ~ [na: 1.8.0_181] ...... (и продолжает)
Я делаю сомчто-то не так?Заранее спасибо !!!