Когда данные записываются в s3 с использованием приемника с ведением.Я получаю ниже исключения.Просто любопытно узнать, нужно ли что-нибудь сделать.
PS: Но файл переместился из -in-progress в конечное состояние
TimerException {org.apache.hadoop.fs.s3a.AWSClientIOException: сохранение вывода в home / prod/dt=20190201/hr=12/_part-1-7.in-progress: com.amazonaws.AmazonClientException: Невозможно завершить перевод: com / amazonaws / util / Throwables: Невозможно завершить перевод: com / amazonaws / util / Throwables} в org.apache.flink.streaming.runtime.tasks.SystemProcessingTimeService $ TriggerTask.run (SystemProcessingTimeService.java:288) в java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:5til) в java.concurrent.FutureTask.) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) в java.util.concurrent.ThreadPoolExecutor$ Worker.run (ThreadPoolExecutor.java:624) в java.lang.Thread.run (Thread.java:748) Причина: org.apache.hadoop.fs.s3a.AWSClientIOException: сохранение выходных данных в home / prod / dt =20190201 / час = 12 / _part-1-7.in-progress: com.amazonaws.AmazonClientException: Невозможно завершить перевод: com / amazonaws / util / Throwables: Невозможно завершить перевод: com / amazonaws / util / Throwables в орг.apache.hadoop.fs.s3a.S3AUtils.translateException (S3AUtils.java:128) в org.apache.hadoop.fs.s3a.S3AOutputStream.close (S3AOutputStream.java:121) в org.apache.hadoop.fs.FSDataOutputSt.PositionCache.close (FSDataOutputStream.java:72) в org.apache.hadoop.fs.FSDataOutputStream.close (FSDataOutputStream.java:106) в org.apache.flink.streaming.connectors.fs.StreamWriterBase.close (StreamWriterBase.java:99) в org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.closeCurrentPartFile (BucketingSink.java:592) в org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.closePartFilesByTime (BucketingSink.java:525) в org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.onProcessingTime (BucketingSink.java:506) в org.apache.flink.streaming.runtime.tasks.SystemProcessingTimeService $ TriggerTask.run (SystemProcessingjavaS:285) ... еще 7 причин: com.amazonaws.AmazonClientException: Невозможно завершить передачу: com / amazonaws / util / Throwables в com.amazonaws.services.s3.transfer.internal.AbstractTransfer.unwrapExecutionException (AbstractTransfer.java:277) в com.amazonaws.services.s3.transfer.internal.AbstractTransfer.rethrowExecutionException (AbstractTransfer.java:261) в com.amazonaws.services.s3.transfer.internal.UploadImpl.waitForUploadResult (UploadImpl.java:66) в орг.apache.hadoop.fs.s3a.S3AOutputStream.close (S3AOutputStream.java:113) ... еще 14 Причин: java.lang.NoClassDefFoundError: com / amazonaws / util / Throwables на com.amazonaws.services.s3.AmazonS3Client.putObject (AmazonS3Client.java:1475) на com.amazonaws.services.s3.transfer.internal.UploadCallable.uploadInOneChunk (UploadCallable.java:131) на com.amazonaws.services.s3.transfer.internal.UploadCallable.call (UploadCallable.java:123) на com.amazonaws.services.s3.transfer.internal.UploadMonitor.call (UploadMonitor.Java: 139) на com.amazonaws.services.s3.transfer.internal.UploadMonitor.call (UploadMonitor.java:47) на java.util.concurrent.FutureTask.run (FutureTask.java:266) ... еще 3