Я создаю динамический c кадр из таблицы RDS, используя приведенный ниже код. Это хорошо работает для других таблиц, но выдает странную ошибку для одной из таблиц - "java. sql .SQLException: DAY_OF_MONTH". Трассировка ошибок также ниже. Пожалуйста, помогите.
dyf = glueContext.create_dynamic_frame.from_options(connection_type = "mysql",
connection_options = {"url": "jdbc:mysql://endpoint:port/database",
"dbtable": "table_name",
"user": userDestination,
"password": passwordDestination,
"customJdbcDriverClassName": jarDriver,
"customJdbcDriverS3Path": jarPath},
additional_options = {"jobBookmarkKeys": ["PK_ID"],
"jobBookmarksKeysSortOrder": "asc"},
transformation_ctx = "dyf")
Ошибка трассировки
Произошла ошибка: при вызове o1031.count произошла ошибка. : org. apache .spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 194.0 не выполнено 4 раза, последний сбой: потерянное задание 0.3 на этапе 194.0 (, исполнитель 28): java. sql .SQLException: DAY_OF_MONTH at com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 129) в com. mysql .cj.jdb c .exceptions.SQLError. createSQLException (SQLError. java: 97) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 89) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 63) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 73) в com. mysql .cj.jdb c .exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping. java: 85) в com. mysql .cj.jdb c .result.ResultSetImpl.getDate (ResultSetImpl. * 1043): at org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ org $ apache $ spark $ sql $ выполнение $ источники данных $ jdbc $ JdbcUtils $$ makeGetter $ 2.apply (JdbcUt ils. scala: 389) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ org $ apache $ spark $ sql $ исполнительный $ источники данных $ jdbc $ JdbcUtils $$ makeGetter $ 2.apply (JdbcUtils. scala: 387) в org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala) : 356) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 338) в орг. apache .spark. util.NextIterator.hasNext (NextIterator. scala: 73) в орг. apache .spark.InterruptibleIterator.hasNext (InterruptibleIterator. scala: 37) в орг. apache .spark.util.CompletionIterator.hasNext ( CompletionIterator. scala: 31) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 409) в org. apache .spark. sql .execution.UnsafeExternalRowSorter.sort ( UnsafeExternalRowSorter. java: 216) в орг. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 295) в орг. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 266) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ apply $ 24.apply (RDD. scala: 836 ) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ apply $ 24.apply (RDD. scala: 836) в орг. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324 ) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 99) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 55) в орг. apache .spark.scheduler.Task.run (Задача. scala: 121) в орг. apache. spark.executor.Executor $ TaskRunner $$ anonfun $ 10.apply (Executor. scala: 408) в орг. apache .spark.util.Utils $ .tryWithSafeFina lly (Utils. scala: 1360) в организации. apache .spark.executor.Executor $ TaskRunner.run (Executor. scala: 414) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 624) в java .lang.Thread.run (Thread. java: 748) Причина: : com. mysql .cj.exceptions.WrongArgumentException: DAY_OF_MONTH at sun.reflect. NativeConstructorAccessorImpl.newInstance0 (собственный метод) для sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl. java: 62) для sun.reflect.DelegatingConstructorAccessorImpl.newInstance * * .15I. Constructor.newInstance (Constructor. java: 423) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 61) в com. mysql .cj.exceptions.ExceptionFactory.createException ( ExceptionFactory. java: 105) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 85) в com. mysql .cj.result. *: 50) по com. mysql .cj.result.AbstractDateTimeValueFactory.createFromDate (AbstractDateTimeValueFactory. java: 67) по ком. 129) at com. mysql .cj.protocol.result.AbstractResultsetRow.decodeAndCreateReturnValue (AbstractRe sultsetRow. java: 90) в com. mysql .cj.protocol.result.AbstractResultsetRow.getValueFromBytes (AbstractResultsetRow. java: 241) в com. mysql .cj.protocol.a.result.ByteArrayRow. getValue (ByteArrayRow. java: 91) ... еще 29 Вызвано: java .lang.IllegalArgumentException: DAY_OF_MONTH в java .util.GregorianCalendar.computeTime (GregorianCalendar. java: 2648) в java .util.Calendar.updateTime (Calendar. java: 3393) в java .util.Calendar.getTimeInMillis (Calendar. java: 1782) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateFalVal . java: 82) ... еще 35
Отслеживание стека драйверов: в орг. apache .spark.scheduler.DAGScheduler.org $ apache $ spark $ планировщик $ DAGScheduler $$ failJobAndIndependentStages (DAGScheduler. scala: 1889) в орг. apache .spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply (DAGScheduler. scala: 1877) в орг. apache .spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply (DAGScheduler. scala: 1876) в scala .collection.mutable.ResizableArray $ class.for каждый (ResizableArray. scala: 59) в scala .collection.mutable.ArrayBuffer.foreach (ArrayBuffer. scala: 48) в орг. apache .spark.scheduler.DAGScheduler.abortStage (DAGScheduler. scala: 1876) в орг. apache .spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply (DAGScheduler. scala: 926) в орг. apache .spark.scheduler.DAGScheduler $$ anonfun $ handleTask $ 1.apply (DAGScheduler. scala: 926) в scala .Option.foreach (Option. scala: 257) в org. apache .spark.scheduler.DAGScheduler.handleTaskSetFailed (DAGScheduler. scala: 926) в орг. apache .spark.scheduler.DAGSchedulerEventProcessL oop .doOnReceive (DAGScheduler. scala: 2110) в орг. apache .spark.scheduler.DAGSchedulerEventProcessL oop .onReceive (DAGSche *: 2059) в орг. apache .spark.scheduler.DAGSchedulerEventProcessL oop .onReceive (DAGScheduler. scala: 2048) в орг. apache .spark.util.EventLoop $$ anon $ 1.run (EventL oop. scala: 49) в орг. apache .spark.scheduler.DAGScheduler.runJob (DAGScheduler. scala: 737) в орг. apache .spark.SparkContext. runJob (SparkContext. scala: 2061) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2082) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2101) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2126) в орг. apache .spark.rdd.RDD.count (СДР. scala: 1168) в com.amazon aws .services.glue.DynamicFrame.count (DynamicFrame. scala: 1145) в sun.reflect. sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl. java: 43) в java .lang.reflect.Method.invoke (Метод. java: 498) в py4j.reflection.MethodInvoker. *: 244) на py4j.reflection.ReflectionEngine. invoke (ReflectionEngine. java: 357) в py4j.Gateway.invoke (Gateway. java: 282) в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand. java: 132) в py4j.commands.CallCommand.execute (CallCommand. java: 79) на py4j.GatewayConnection.run (GatewayConnection. java: 238) на java .lang.Thread.run (Thread. java: 748). Причина: java. sql .SQLException: DAY_OF_MONTH в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 129) в com. mysql .cj.jdb c .exceptions .SQLError.createSQLException (SQLError. java: 97) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 89) в com. mysql .cj. jdb c .exceptions.SQLError.createSQLException (SQLError. java: 63) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 73) в com. mysql .cj.jdb c .exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping. java: 85) в com. mysql .cj.jdb c .result.ResultSetImpl.getDate (ResultSetImpl *). ResultSetImpl. : 755) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ орг $ апач $ искрой $ SQL $ исполнения $ $ источники данных JDBC $ JdbcUtils $$ makeGetter $ 2.Apply (JdbcUtils. scala: 389) at org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ org $ apache $ spark $ sql $ исполнительный $ источники данных $ jdbc $ JdbcUtils $$ makeGetter $ 2 .apply (JdbcUtils. scala: 387) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 356) в org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 338) в org. apache .spark.util.NextIterator. hasNext (NextIterator. scala: 73) в орг. apache .spark.InterruptibleIterator.hasNext (InterruptibleIterator. scala: 37) в орг. apache .spark.util.CompletionIterator.hasNext (CompletionIterator. scala: 31) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 409) в org. apache .spark. sql .execution.UnsafeExternalRowSorter.sort (UnsafeExternalRowSorter. java: 216) в орг. apache .spark. sql .execu ion.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 295) в org. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 266) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ apply $ 24.apply (СДР. scala: 836) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ apply $ 24.apply (RDD. scala: 836) в org. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. . apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 99) в орг. apache .spark.scheduler .ShuffleMapTask.runTask (ShuffleMapTask. scala: 55) в орг. apache .spark.scheduler.Task.r un (Задача. scala: 121) в орг. apache .spark.executor.Executor $ TaskRunner $$ anonfun $ 10.apply (Исполнитель. scala: 408) в орг. apache .spark.util. Использует $ .tryWithSafeFinally (Utils. scala: 1360) в орг. apache .spark.executor.Executor $ TaskRunner.run (Executor. scala: 414) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 624) ... еще 1 причина: com. mysql .cj.exceptions. WrongArgumentException: DAY_OF_MONTH в sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl. java: 62) в sunlegrefl. newInstance (DelegatingConstructorAccessorImpl. java: 45) в java .lang.reflect.Constructor.newInstance (Constructor. java: 423) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 61) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 105) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. * 1303: * 1303: в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 50) в com. mysql .cj.result. 1308 * .cj. 1312 * .cj.protocol.result.AbstractResultsetRow.getValueFromBytes (AbstractResultsetRow. java: 241) в com. mysql .cj.protocol.a.result.ByteArrayRow.getValue (ByteArrayRow. java: 9 1) ... еще 29 причин: java .lang.IllegalArgumentException: DAY_OF_MONTH at java .util.GregorianCalendar.computeTime (GregorianCalendar. java: 2648) в java .util.Calendar.updateTime (Calendar) . java: 3393) в java .util.Calendar.getTimeInMillis (Calendar. java: 1782) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 82). .. еще 35
Трассировка (последний последний вызов): файл "/mnt/yarn/usercache/livy/appcache/application_1583217406561_0001/container_1583217406561_0001_01_000001/PyGlue.zip/awsglue/dynamicfra.4 count return self._jdf.count () Файл "/mnt/yarn/usercache/livy/appcache/application_1583217406561_0001/container_1583217406561_0001_01_000001/py4j-0.10.7-src.zip/py4j/java_gate 12, lineway call answer, self.gateway_client, self.target_id, self.name) Файл "/mnt/yarn/usercache/livy/appcache/application_1583217406561_0001/container_1583217406561_0001_01_000001/pyspark/til/ s.py ", строка 63, in deco возвращает файл f (* a, ** kw)" /mnt/yarn/usercache/livy/appcache/application_1583217406561_0001/container_1583217406561_0001_01_000001/py4j-0.10.7-src.zip/ py4j / protocol.py ", строка 328, в формате get_return_value (target_id,". ", name), value) py4j.protocol.Py4JJavaError: Произошла ошибка при вызове o1031.count. : org. apache .spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 194.0 не выполнено 4 раза, последний сбой: потерянное задание 0.3 на этапе 194.0 (, исполнитель 28): java. sql .SQLException: DAY_OF_MONTH в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 129) в com. mysql .cj.jdb c .exceptions.SQLError. createSQLException (SQLError. java: 97) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 89) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 63) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 73) в com. mysql .cj.jdb c .exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping. java: 85) в com. mysql .cj.jdb c .result.ResultSetImpl.getDate (ResultSetImpl. * 1350): at org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ org $ apache $ spark $ sql $ выполнение $ источники данных $ jdbc $ JdbcUtils $$ makeGetter $ 2.apply (JdbcUt ils. scala: 389) at. $$ makeGetter $ 2.apply (JdbcUtils. scala: 387) в org. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala) : 356) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 338) в орг. apache .spark. util.NextIterator. hasNext (NextIterator. scala: 73) в орг. apache .spark.InterruptibleIterator.hasNext (InterruptibleIterator. scala: 37) в орг. apache .spark.util.CompletionIterator.hasNext (CompletionIterator. scala: 31) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 409) в org. apache .spark. sql .execution.UnsafeExternalRowSorter.sort (UnsafeExternalRowSorter. java: 216) в орг. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 295) в орг. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 266) в org. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ применять $ 24 .apply (RDD. scala: 836) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ apply $ 24.apply (СДР. scala: 836) в орг. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark .rdd.RDD.iterator (РДД. scala: 288) в орг. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (СДР. scala: 324) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 99) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 55) в org. apache .spark.scheduler.Task.run (Задача. scala: 121) в org. apache .spark .executor.Executor $ TaskRunner $$ anonfun $ 10.apply (Executor. scala: 408) в org. apache .spark.util.Utils $ .tryWithSafeFinally (Utils. scala: 1360) в org. apache .spark.executor.Executor $ TaskRunner.run (Исполнитель. scala: 414) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent. ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 624) в java .lang.Thread.run (Thread. java: 748) Причина: com. mysql .cj.exceptions.WrongArgumentException: DAY_OF_MONTH at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (Нативный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl. java: 62) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl. java23fl. (Конструктор. java: 423) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 61) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 105) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 85) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SatelFactory.localCreateFromDate (. ) в com. mysql .cj.result. com. mysql .cj.protocol.result.AbstractResultsetRow.decodeAndCreateReturnValue (AbstractResultsetRow. java: 90) в com. mysql .cj.pro tocol.result.AbstractResultsetRow.getValueFromBytes (AbstractResultsetRow. java: 241) в com. mysql .cj.protocol.a.result.ByteArrayRow.getValue (ByteArrayRow. java: 91) ... еще 29 причин, вызванных : java .lang.IllegalArgumentException: DAY_OF_MONTH в java .util.GregorianCalendar.computeTime (GregorianCalendar. java: 2648) в java .util.Calendar.updateTime (Calendar. java: 3393) в java .util.Calendar.getTimeInMillis (Calendar. java: 1782) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 82) ... еще 35
Отслеживание стека драйверов: в орг. apache .spark.scheduler.DAGScheduler.org $ apache $ spark $ scheduler $ DAGScheduler $$ failJobAndIndependentStages (DAGScheduler. scala: 1889) в орг. apache .spark.scheduler. DAGScheduler $$ anonfun $ abortStage $ 1.apply (DAGScheduler. scala: 1877) в org. apache .spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.apply (DAGScheduler. scala: 1876) в scala .collection.mutable.ResizableArray $ class.foreach (ResizableArray. scala: 59) в scala .collection.mutable.ArrayBuffer.foreach (ArrayBuffer. scala: 48) в орг. apache .spark. scheduler.DAGScheduler.abortStage (DAGScheduler. scala: 1876) в орг. apache .spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply (DAGScheduler. scala: 926) в орг. apache. spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.apply (DAGScheduler. scala: 926) в scala .Option.foreach (Опция. scala: 257) в орг. apache .spark.scheduler. DAGScheduler.handleTaskSetFailed (DAGScheduler. scala: 926) в орг. apache .spark.scheduler.DAGSchedulerEventProcessL oop .doOnReceive (DAGScheduler. scala: 2110) в орг. oop .onReceive (DAGScheduler. scala: 2059) в орг. apache .spark.scheduler.DAGSchedulerEventProcessL oop .onReceive (DAGScheduler. scala: 2048) в орг. apache .spark.util.EventLoop $$ anon $ 1.run (EventL oop. scala: 49) в орг. apache .spark .scheduler.DAGScheduler.runJob (DAGScheduler. scala: 737) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2061) в орг. apache .spark.SparkContext.runJob (Spark . scala: 2082) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2101) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2126) в org. apache .spark.rdd.RDD.count (RDD. scala: 1168) на com.amazon aws .services.glue.DynamicFrame.count (DynamicFrame. scala: 1145) на sun.reflect .NativeMethodAccessorImpl.invoke0 (родной метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl. java: 62) в sun.reflect.DelegatingMethodAccessorIccessl.inl * 43.mpre * *. .Method.invoke (Method. java: 498) в py4j.reflection.MethodInvoker.invoke (MethodInvoker. java: 244) в py4j.reflection.ReflectionEngine.invoke (ReflectionEngine. * 15 03 *: 357) в py4j.Gateway.invoke (Шлюз. java: 282) в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand. java: 132) в py4j.commands.CallCommand.execute (CallCommand. java: 79) в py4j.GatewayConnection.run (GatewayConnection. java: 238) в java .lang.Thread.run (Thread. java: 748) Причина: java. sql .SQLException : DAY_OF_MONTH в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 129) в com. mysql .cj.jdb c .exceptions.SQLError.createSxx SQLError. java: 97) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 89) в com. mysql .cj.jdb c. exceptions.SQLError.createSQLException (SQLError. java: 63) в com. mysql .cj.jdb c .exceptions.SQLError.createSQLException (SQLError. java: 73) в com. mysql .cj .jdb c .exceptions.SQLExceptionsMapping.translateException (SQLExceptionsMapping. java: 85) в com. mysql .cj.jdb c .result.ResultSetImpl.getDate (ResultSetImpl. javag5): 755 . apache .spark. sql .executi on.datasources.jdb c .JdbcUtils $$ anonfun $ org $ apache $ spark $ sql $ исполнительный $ источники данных $ jdbc $ JdbcUtils $$ makeGetter $ 2.apply (JdbcUtils. scala: 389) в орг. apache .spark sql .execution.datasources.jdb c .JdbcUtils $$ anonfun $ орг $ апач $ искрой $ SQL $ исполнения $ $ источники данных JDBC $ JdbcUtils $$ makeGetter $ 2.Apply (JdbcUtils scala:.. 387 ) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 356) в орг. apache .spark. sql .execution.datasources.jdb c .JdbcUtils $$ anon $ 1.getNext (JdbcUtils. scala: 338) в орг. apache .spark.util.NextIterator.hasNext (NextIterator. scala: 73) в орг. apache .spark.InterruptibleIterator.hasNext (InterruptibleIterator. scala: 37) в орг. apache .spark.util.CompletionIterator.hasNext (CompletionIterator. scala: 31) в scala .collection.Iterator $$ anon $ 11.hasNext (Iterator. scala: 409) в org. apache .spark. sql .execution.UnsafeExternalRowSorter.sort (UnsafeExternalRowSorter. java: 216) в орг. apache .spark. sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 295) в орг. apache .spark . sql .execution.exchange.ShuffleExchangeExec $$ anonfun $ 2.apply (ShuffleExchangeExe c. scala: 266) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ применить $ 24.apply (СДР. scala: 836) в орг. apache .spark.rdd.RDD $$ anonfun $ mapPartitionsInternal $ 1 $$ anonfun $ применить $ 24.apply (СДР. scala: 836) в орг. . apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd.RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark.rdd.RDD.iterator (RDD. scala: 288) в орг. apache .spark.rdd.MapPartitionsRDD.compute (MapPartitionsRDD. scala: 52) в орг. apache .spark.rdd .RDD.computeOrReadCheckpoint (RDD. scala: 324) в орг. apache .spark.rdd.RDD.iterat или (СДР. scala: 288) в орг. apache .spark.scheduler.ShuffleMapTask.runTask (ShuffleMapTask. scala: 99) в орг. scala: 55) в орг. apache .spark.scheduler.Task.run (Задача. scala: 121) в орг. apache .spark.executor.Executor $ TaskRunner $$ anonfun $ 10.apply ( Исполнитель. scala: 408) в орг. apache .spark.util.Utils $ .tryWithSafeFinally (Utils. scala: 1360) в орг. apache .spark.executor.Executor $ TaskRunner.run (Исполнитель . scala: 414) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java 6: ) ... еще 1 Причина: com. mysql .cj.exceptions.WrongArgumentException: DAY_OF_MONTH at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance. 62.Nor. ) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl. java: 45) в java .lang.reflect.Constructor.newInstance (Конструктор. java: 423) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 61) в com. mysql .cj.exceptions.ExceptionFactory.createException (ExceptionFactory. java: 105) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 85) в com. mysql. c. .SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 50) в com. mysql .cj.result.AbstractDateTimeValueFactory.createFromDate (AbstractDateTimeValueFactory. * 1614.jpg. .decodeDate (MysqlBinaryValueDecoder. java: 129) в com. mysql .cj.protocol.result.AbstractResultsetRow.decodeAndCreateReturnValue (AbstractResultsetRow. java: 90) в com. mysql .cult.prob.protocol. .getValueFromBytes (AbstractResultsetRow. java: 241) в com. mysql .cj.protocol.a.result.ByteArrayRow.getValue (ByteArrayRow. java: 91) ... еще 29 причин: java. lang.IllegalArgumentExce ption: DAY_OF_MONTH в java .util.GregorianCalendar.computeTime (GregorianCalendar. java: 2648) в java .util.Calendar.updateTime (Calendar. java: 3393) в java .util.Calendar. getTimeInMillis (Calendar. java: 1782) в com. mysql .cj.result.SqlDateValueFactory.localCreateFromDate (SqlDateValueFactory. java: 82) ... еще 35