Индексирование Elasticsearch останавливается на определенном индексе - PullRequest
0 голосов
/ 13 ноября 2018

Когда я пытаюсь проиндексировать его с помощью bulk_indexing(), процесс останавливается на определенном индексе.Я изменил heap_size в jvm.options, это не помогает.

Это вывод:

Product 489 indexed
Product 490 indexed
Product 491 indexed
Product 492 indexed
Product 493 indexed
Product 494 indexed
Product 495 indexed
Product 496 indexed
Product 497 indexed
Product 498 indexed
Product 2280 indexed
POST http://localhost:9200/_bulk [status:N/A request:0.001s]
Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/code/products/documents.py", line 93, in bulk_indexing
    bulk(client=es, actions=(p.indexing() for p in models.Product.objects.all().iterator()))
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/helpers/__init__.py", line 257, in bulk
    for ok, item in streaming_bulk(client, actions, **kwargs):
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/helpers/__init__.py", line 192, in streaming_bulk
    raise_on_error, **kwargs)
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/helpers/__init__.py", line 99, in _process_bulk_chunk
    raise e
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/helpers/__init__.py", line 95, in _process_bulk_chunk
    resp = client.bulk('\n'.join(bulk_actions) + '\n', **kwargs)
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/client/utils.py", line 76, in _wrapped
    return func(*args, params=params, **kwargs)
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/client/__init__.py", line 1150, in bulk
    headers={'content-type': 'application/x-ndjson'})
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/transport.py", line 314, in perform_request
    status, headers_response, data = connection.perform_request(method, url, params, body, headers=headers, ignore=ignore, timeout=timeout)
  File "/usr/local/lib/python3.6/site-packages/elasticsearch/connection/http_urllib3.py", line 175, in perform_request
    raise ConnectionError('N/A', str(e), e)
elasticsearch.exceptions.ConnectionError: ConnectionError(<urllib3.connection.HTTPConnection object at 0x7ffb0733bb38>: Failed to establish a new connection: [Errno 111] Connection refused) caused by: NewConnectionError(<urllib3.connection.HTTPConnection object at 0x7ffb0733bb38>: Failed to establish a new connection: [Errno 111] Connection refused)

1 Ответ

0 голосов
/ 14 ноября 2018

Проблема была в размере куска.Это было по умолчанию = 500.Я увеличил размер, и это решило мою проблему

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...