Есть ли ограничение на входную строку json для конечной точки sagemaker aws? - PullRequest
Новая
       7

Есть ли ограничение на входную строку json для конечной точки sagemaker aws?

1 голос
/ 06 апреля 2020

У меня есть строка ~ 5MB json, которую я хочу отправить моей конечной точке. Я использую boto3.client для вызова конечной точки из моего python клиента. Выдает ConnectionResetError. 

    File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\site-packages\urllib3\connectionpool.py", line 600, in urlopen
    chunked=chunked)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\site-packages\urllib3\connectionpool.py", line 354, in _make_request
    conn.request(method, url, **httplib_request_kw)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\site-packages\botocore\awsrequest.py", line 92, in _send_request
    method, url, body, headers, *args, **kwargs)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 1275, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 1224, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\site-packages\botocore\awsrequest.py", line 119, in _send_output
    self.send(msg)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\site-packages\botocore\awsrequest.py", line 203, in send
    return super(AWSConnection, self).send(str)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 977, in send
    self.sock.sendall(data)
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\ssl.py", line 1012, in sendall
    v = self.send(byte_view[count:])
  File "C:\Users\corona\AppData\Local\Programs\Python\Python37\lib\ssl.py", line 981, in send
    return self._sslobj.write(data)
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

Глядя на след, я предполагаю, что это связано с json размером строки. Может ли кто-нибудь помочь мне, как обойти это?

1 Ответ

0 голосов
/ 09 апреля 2020

Превышение предела размера полезной нагрузки приводит к сбросу соединения из службы SageMaker Runtime.

Из документации SageMaker :

Максимальный размер полезной нагрузки для вызов конечной точки | 5 МБ

Вероятно, есть более форматы данных с меньшим объемом памяти, чем JSON, которые вы могли бы использовать для передачи полезной нагрузки, но доступные параметры будут зависеть от типа данных и образа вашей модели. используя (т.е. предоставленный Amazon или пользовательская реализация).

...