Сервер Stanford CoreNLP, использующий 12 потоков, 6 клиентов, вызывающих его, и все же иногда ошибка «Только одно использование каждого адреса сокета обычно допускается» - PullRequest
0 голосов
/ 25 июня 2019

Сервер Stanford CoreNLP использует 12 потоков, у меня 6 однопоточных клиентов, вызывающих его, и все же иногда я получаю сообщение об ошибке:

Не удалось установить новое соединение: только [WinError 10048]обычно разрешается одно использование каждого адреса сокета (протокола / сетевого адреса / порта) '))

Как это возможно?Я думал, что было бы безопасно запускать до 12 клиентов одновременно, поскольку сервер Stanford CoreNLP использует 12 потоков, а мои клиенты используют только 1 поток.


Я запускаю сервер Stanford CoreNLP, используя:

 java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 9001 -timeout 50000

, который запускает сервер Stanford CoreNLP с 12 потоками, поскольку у меня 12 ядер ЦП (и я вижу, что сервер Stanford CoreNLP упоминает, что он будет использовать 12 потоков).

Код, который я использовал дляВызовите сервер Stanford CoreNLP:

import os
import json
from pycorenlp import StanfordCoreNLP
import time
import sys
nlp = StanfordCoreNLP('http://localhost:9001')
total_start_time = time.time()

for i in range(9999999):
    text = 'without the dataset the paper {0} is useless'.format(i)
    print('text: {0}'.format(text))
    start_time = time.time()
    output = nlp.annotate(text, properties={
        'annotators': 'ner',
        'outputFormat': 'json'
    })
    elapsed_time = time.time() - start_time
    print('elapsed_time: {0:.4f} seconds'.format(elapsed_time))

print('total_start_time: {0:.4f} seconds'.format(time.time()-total_start_time))

Полный стек ошибок приведен ниже.Сценарий называется parse_captions.py, и в нем есть еще несколько строк кода, которые я дал выше, поэтому номера строк не совпадают.Кроме того, анализируемый текст отличается.

text: anniversary of the liquidation of the litzmanstadt ghetto in lodz
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connection.py", line 159, in _new_conn
    (self._dns_host, self.port), self.timeout, **extra_kw)
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\util\connection.py", line 80, in create_connection
    raise err
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\util\connection.py", line 70, in create_connection
    sock.connect(sa)
OSError: [WinError 10048] Only one usage of each socket address (protocol/network address/port) is normally permitted

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connectionpool.py", line 600, in urlopen
    chunked=chunked)
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connectionpool.py", line 354, in _make_request
    conn.request(method, url, **httplib_request_kw)
  File "C:\ProgramData\Anaconda3\lib\http\client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\ProgramData\Anaconda3\lib\http\client.py", line 1275, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "C:\ProgramData\Anaconda3\lib\http\client.py", line 1224, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "C:\ProgramData\Anaconda3\lib\http\client.py", line 1016, in _send_output
    self.send(msg)
  File "C:\ProgramData\Anaconda3\lib\http\client.py", line 956, in send
    self.connect()
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connection.py", line 181, in connect
    conn = self._new_conn()
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connection.py", line 168, in _new_conn
    self, "Failed to establish a new connection: %s" % e)
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPConnection object at 0x000002660423E780>: Failed to establish a new connection: [WinError 10048] Only one usage of each socket address (protocol/network address/port) is normally permitted

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\adapters.py", line 449, in send
    timeout=timeout
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\connectionpool.py", line 638, in urlopen
    _stacktrace=sys.exc_info()[2])
  File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\util\retry.py", line 398, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='localhost', port=9001): Max retries exceeded with url: /?properties=%7B%27annotators%27%3A+%27tokenize%2Cssplit%2Cpos%2Cdepparse%2Ctruecase%2Cparse%27%2C+%27outputFormat%27%3A+%27json%27%7D (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000002660423E780>: Failed to establish a new connection: [WinError 10048] Only one usage of each socket address (protocol/network address/port) is normally permitted'))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "parse_captions.py", line 52, in <module>
    main()
  File "parse_captions.py", line 37, in main
    'outputFormat': 'json'
  File "C:\ProgramData\Anaconda3\lib\site-packages\pycorenlp\corenlp.py", line 29, in annotate
    }, data=data, headers={'Connection': 'close'})
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\api.py", line 116, in post
    return request('post', url, data=data, json=json, **kwargs)
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\api.py", line 60, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\sessions.py", line 533, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\sessions.py", line 646, in send
    r = adapter.send(request, **kwargs)
  File "C:\ProgramData\Anaconda3\lib\site-packages\requests\adapters.py", line 516, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=9001): Max retries exceeded with url: /?properties=%7B%27annotators%27%3A+%27tokenize%2Cssplit%2Cpos%2Cdepparse%2Ctruecase%2Cparse%27%2C+%27outputFormat%27%3A+%27json%27%7D (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000002660423E780>: Failed to establish a new connection: [WinError 10048] Only one usage of each socket address (protocol/network address/port) is normally permitted'))

Я использую Python 3.7.3 x64, Stanford CoreNLP версии 3.9.2 (то есть 2018-10-05) и Microsoft Windows 18.09 «Professional».

...