Я запускаю следующий код в scala spark, всякий раз, когда я нажимаю на функцию действия, такую как count () или показываю, что я получаю исключение массива за пределами границ. Я могу напечатать схему, хотя
val wordsDF = spark.read.format("bigquery")
.option("table","bigquery-public-data.samples.shakespeare")
.load()
.cache()
wordsDF.printSchema()
wordsDF.count()
wordsDF.show()
Трассировка стека ошибок
Исключение в потоке "main" java .lang.ArrayIndexOutOfBoundsException: 10582 в com.thoughtworks.paranamer .BytecodeReadingParanamer $ ClassReader.accept (BytecodeReadingParanamer. java: 563) по адресу com.thoughtworks.paranamer.BytecodeReadingParanamer $ ClassReader.access $ 200 (BytecodeReadingParanamer. java: 338) по адресу com.thoughtworkr. java: 103) в com.thoughtworks.paranamer.CachingParanamer.lookupParameterNames (CachingParanamer. java: 90) в com.faster xml .jackson.module. scala .introspect.BeanIntrospector $ .getCtorParams (BeanIntrospector. scala: 44) на com.faster xml .jackson.module. scala .introspect.BeanIntrospector $. $ Anonfun $ apply $ 1 (BeanIntrospector. scala: 58) на com.faster xml .jackson .module. scala .introspect.BeanIntrospector $. $ anonfun $ apply $ 1 $ адаптированный (BeanIntrospector. scala: 58) в scala .collection.TraversableLike. $ anon fun $ flatMap $ 1 (TraversableLike. scala: 240) в scala .collection.Iterator.foreach (Iterator. scala: 937) в scala .collection.Iterator.foreach $ (Iterator. scala: 937) в scala .collection.AbstractIterator.foreach (Iterator. scala: 1425) в scala .collection.IterableLike.foreach (IterableLike. scala: 70) в scala .collection.IterableLike.foreach $ (IterableLike. scala: 69) в scala .collection.AbstractIterable.foreach (Iterable. scala: 54) в scala .collection.TraversableLike.flatMap (TraversableLike. scala: 240) в scala .collection.TraversableLike.flatMap $ (TraversableLike. scala: 237) в scala .collection.AbstractTraversable.flatMap (Traversable. scala: 104) в com.faster xml .jackson.module. scala .introspect.BeanIntrospector $ .findConstructorParam $ 1 (BeanIntrospector. scala: 58) на com.faster xml .jackson.module. scala .introspect.BeanIntrospector $. $ Anonfun $ apply $ 19 (BeanIntrospector. *: 176) в scala .collection.TraversableLike. $ Anonfun $ map $ 1 (TraversableLike. scala: 233) в scala .collection.IndexedSeqO ptimized.foreach (IndexedSeqOptimized. scala: 32) в scala .collection.IndexedSeqOptimized.foreach $ (IndexedSeqOptimized. scala: 29) в scala .collection.mutable.ArrayOps $ ofRef.foreach (ArrayOps *. 1062 *: 194) в scala .collection.TraversableLike.map (TraversableLike. scala: 233) в scala .collection.TraversableLike.map $ (TraversableLike. scala: 226) в scala .collection .mutable.ArrayOps $ ofRef.map (ArrayOps. scala: 194) на com.faster xml .jackson.module. scala .introspect.BeanIntrospector $. $ anonfun $ apply $ 14 (BeanIntrospector. scala: 170) на com.faster xml .jackson.module. scala .introspect.BeanIntrospector $. $ Anonfun $ применить $ 14 $ адаптированный (BeanIntrospector. scala: 169) на scala .collection.TraversableLike. $ Anonfun $ flatMap $ 1 (TraversableLike. scala: 240) в scala .collection.immutable.List.foreach (List. scala: 388) в scala .collection.TraversableLike.flatMap (TraversableLike. scala: 240) в scala .collection.TraversableLike.flatMap $ (TraversableLike. scala: 237) в scala .collection.immutable.List.flatMap (List. * 1084) *: 351) на com.faster xml .jackson.module. scala .introspect.BeanIntrospector $ .apply (BeanIntrospector. scala: 169) на com.faster xml .jackson.module. scala .introspect.ScalaAnnotationIntrospector $ ._ descriptorFor (ScalaAnnotationIntrospectorModule. scala: 22) в com.faster xml .jackson.module. scala .introspect.ScalaAnnotationIntrospector $ .fieldName * имя_команды 30). быстрее xml .jackson.module. scala .introspect.ScalaAnnotationIntrospector $ .findImplicitPropertyName (ScalaAnnotationIntrospectorModule. scala: 78) в com.faster xml .jackson.databind.introspect.AnnoairIntrospe. findImplicitPropertyName (AnnotationIntrospectorPair. java: 467) в com.faster xml .jackson.databind.introspect.POJOPropertiesCollector._addFields (POJOPropertiesCollector. java: 351) в com.faster * 11int.jind. POJOPropertiesCollector.collectAll (POJOPropertiesCollector. java: 283) на com.faster xml .jackson.databind.introspect.POJOPropertiesCollector.getJsonValueMethod (POJOPropertiesCollector. java .jpg 169 .jpg). introspect.BasicBeanDescription.findJsonValueMethod (BasicBeanDescription. java: 223) в com.faster xml .jackson.databind.ser.BasicSerializerFactory.findSerializerByAnnotations (BasicSerializerFactory. javajjj. com. *1108* .jpg at. databind.ser.BeanSerializerFactory._createSerializer2 (BeanSerializerFactory. java: 210) на com.faster xml .jackson.databind.ser.BeanSerializerFactory.createSerializer (BeanSerializerFactory. java: 15313) на com.faster. jackson.databind.SerializerProvider._createUntypedSerializer (SerializerP rovider. java: 1203) на com.faster xml .jackson.databind.SerializerProvider._createAndCacheUntypedSerializer (SerializerProvider. java: 1157) на com.faster xml .jackson.databind.SerializerProvider.roviderSal. java: 481) на com.faster xml .jackson.databind.SerializerProvider.findTypedValueSerializer (SerializerProvider. java: 679) на com.faster xml .jackson.databind.ser.DefaultSerializerProvider.serializeVizerrovSerial (по умолчанию. java: 107) в com.faster xml .jackson.databind.ObjectMapper._configAndWriteValue (ObjectMapper. java: 3559) в com.faster xml .jackson.databind.ObjectMapper.writeValueAsString (ObjectMapper. * 11 *: 2927) в орг. apache .spark.rdd.RDDOperationScope.to Json (RDDOperationScope. scala: 52) в орг. apache .spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope. scala: 142) в орг. apache .spark. sql .execution.SparkPlan.executeQuery (SparkPlan. scala: 152) в орг. apache .spark. sql .execution.SparkPlan.execute ( SparkPlan. scala: 127) в или g. apache .spark. sql .execution.SparkPlan.getByteArrayRdd (SparkPlan. scala: 247) в org. apache .spark. sql .execution.SparkPlan.executeCollect (SparkPlan. scala : 296) в орг. apache .spark. sql .Dataset. $ Anonfun $ count $ 1 (Набор данных. scala: 2831) в орг. apache .spark. sql .Dataset. $ Anonfun $ считать $ 1 $ адаптированным (набор данных. scala: 2830) в орг. apache .spark. sql .Dataset. $ anonfun $ withAction $ 2 (набор данных. scala: 3365) в орг. apache .spark . sql .execution.SQLExecution $. $ Anonfun $ withNewExecutionId $ 1 (SQLExecution. scala: 78) в организации. apache .spark. sql .execution.SQLExecution $ .withSQLConfPropagated (SQLExecu. 125) в орг. apache .spark. sql .execution.SQLExecution $ .withNewExecutionId (SQLExecution. scala: 73) в орг. apache .spark. sql .Dataset.withAction (Набор данных. scala: 3365) в орг. apache .spark. sql .Dataset.count (Набор данных. scala: 2830) в Transform $ .main (Transform. scala: 29) в Transform.main (Transform . scala)
Используется искровая зависимость
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>2.4.0</version>
</dependency>
Попытка выяснить, что будет ты здесь?