Работа в spark (2.11) над s3 (java, spark standalone)
Я получаю org.apache.http.NoHttpResponseException: my-bucket.s3.amazonaws.com:443 не удалось ответить при попыткезвоните
rdd большой (~ 20м записей)
У меня есть следующий код -
myRdd.saveAsTextFile(myDir);
и при его запуске у меня 2 проблемы -
1) Если это работает, это очень медленно 2) Примерно в ~ 10% случаев, когда я это называю, я получаю исключение
2019-02-18 18: 51: 42,820 [мой-app] [s3a-Transfer-shared - pool9-t331] ИНФОРМАЦИЯ com.amazonaws.http.AmazonHttpClient - Невозможно выполнить запрос HTTP: my-bucket.s3.amazonaws.com:443 не удалось ответить org.apache.http.NoHttpResponseException: my-bucket.s3.amazonaws.com:443 не удалось ответить по адресу org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead (DefaultHttpResponseParser.java:143) в org.apache.httpefse.pl.parseHead (DefaultHttpResponseParser.java:57) в org.apache.http.impl.io.AbstractMessageParser.parse (АннотацияMessageParser.java:261) в org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader (AbstractHttpClientConnection.java:283) в org.apache.http.impl.conn.DefaultClientConnection.reava.jj.http.impl.conn..java: 66) в org.apache.http.protocol.HttpRequestExecutor.execute (HttpRequestExecutor.java:124) в org.apache.http.impl.client.DefaultRequestDirector.tryExecute (DefaultRequestDirector.javag68ache).http.impl.client.DefaultRequestDirector.execute (DefaultRequestDirector.java:488) в org.apache.http.impl.client.AbstractHttpClient.doExecute (AbstractHttpClient.java:884) в org.apache.httpent.lib.выполнить (CloseableHttpClient.java:82) в org.apache.http.impl.client.CloseableHttpClient.execute (CloseableHttpClient.java:55) в com.amazonaws.http.AmazonHttpClient.executeHelper (AmazonHttpClient.ht..AmazonHttpClient.execute (AmazonHttpClient.java:232) по адресу com.amazonaws.services.s3.AmazonS3Client.invoke (AmazonS3Client.java:3528) по адресу com.amazonaws.services.s3.AmazonS3Client.copyObject (AmazonSjjjj150)com.amazonaws.services.s3.transfer.internal.CopyCallable.copyInOneChunk (CopyCallable.java:143) в com.amazonaws.services.s3.transfer.internal.CopyCallable.call (CopyCallable.java:131) в com.amazonaws.services.s3.transfer.internal.CopyMonitor.copy (CopyMonitor.java:189) по адресу com.amazonaws.services.s3.transfer.internal.CopyMonitor.call (CopyMonitor.java:134) по адресу com.amazonaws.services.s3.Transfer.internal.CopyMonitor.call (CopyMonitor.java:46) в java.util.concurrent.FutureTask.run (FutureTask.java:266) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624) в java.lang.Thread.run (Thread.java:748)
Любая идея, как я могурешить это?
спасибо, Низан