Работа с моим потоком данных не выполняется автоматически. Я получаю поток исключений тайм-аута сокета, и автоматическое масштабирование никогда не срабатывает.
После каждого тайм-аута сокета происходит ожидание в течение 2-3 секунд, и эти ошибки переполняются, в окне 30 минут больше 120. В задании используется всего 2-3 ядра процессора, и я думаю, что причина его увеличения не в том, что непрерывный тайм-аут сокета вызывает период ожидания и останавливает автоматическое масштабирование.
Я пытаюсь запустить задание на apache-beam[gcp] 2.0.15 и apache-beam[gcp] 2.0.15 на Python 3.6, текущая пропускная способность составляет около 1 элемента / секунду, и используется только одна машина, в то время как в прошлом это же задание увеличивалосьдо 8 машин легко.
Тайм-аут сокета ниже:
Retry with exponential backoff: waiting for 2.824670436313854 seconds before retrying
lease_work because we caught exception: socket.timeout:
The read operation timed out Traceback for above exception (most recent call last):
File "/usr/local/lib/python3.6/site-packages/apache_beam/utils/retry.py", line 206,
in wrapper return fun(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/dataflow_worker/workerapiclient.py", line 219,
in lease_work response = self._client.projects_locations_jobs_workItems.Lease(request)
File "/usr/local/lib/python3.6/site-packages/apache_beam/runners/dataflow/internal/clients/dataflow/dataflow_v1b3_client.py", line 589,
in Lease config, request, global_params=global_params)
File "/usr/local/lib/python3.6/site-packages/apitools/base/py/base_api.py", line 729,
in _RunMethod http, http_request, **opts)
File "/usr/local/lib/python3.6/site-packages/apitools/base/py/http_wrapper.py", line 346,
in MakeRequest check_response_func=check_response_func)
File "/usr/local/lib/python3.6/site-packages/apitools/base/py/http_wrapper.py", line 396,
in _MakeRequestNoRetry redirections=redirections, connection_type=connection_type)
File "/usr/local/lib/python3.6/site-packages/oauth2client/transport.py", line 169,
in new_request redirections, connection_type)
File "/usr/local/lib/python3.6/site-packages/httplib2/__init__.py", line 1924,
in request cachekey,
File "/usr/local/lib/python3.6/site-packages/httplib2/__init__.py", line 1595,
in _request conn, request_uri, method, body, headers
File "/usr/local/lib/python3.6/site-packages/httplib2/__init__.py", line 1533,
in _conn_request response = conn.getresponse()
File "/usr/local/lib/python3.6/http/client.py", line 1346,
in getresponse response.begin()
File "/usr/local/lib/python3.6/http/client.py", line 307,
in begin version, status, reason = self._read_status()
File "/usr/local/lib/python3.6/http/client.py", line 268,
in _read_status line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
File "/usr/local/lib/python3.6/socket.py", line 586,
in readinto return self._sock.recv_into(b)
File "/usr/local/lib/python3.6/ssl.py", line 1012,
in recv_into return self.read(nbytes, buffer)
File "/usr/local/lib/python3.6/ssl.py", line 874,
in read return self._sslobj.read(len, buffer)
File "/usr/local/lib/python3.6/ssl.py", line 631,
in read v = self._sslobj.read(len, buffer)