Целочисленная слишком большая ошибка с векторизацией во время индексации - PullRequest
Новая
       53

Целочисленная слишком большая ошибка с векторизацией во время индексации

0 голосов
/ 27 декабря 2018

Я пытаюсь использовать Whoosh для индексации большого корпуса (примерно 25 миллионов академических рефератов + названий).Я пометил «абстрактное» поле vector=True, потому что мне нужно иметь возможность вычислять ключевые термины с высокой оценкой на основе рефератов для IR подобия.

Однако после примерно 4 миллионов записей во время индексации произошел сбой со следующей ошибкой: 

Traceback (most recent call last):
  File "...", line 256, in <module>
    ...
  File "/home/nlp/*/anaconda3/envs/riken/lib/python3.6/site-packages/whoosh/writing.py", line 771, in add_document
    perdocwriter.add_vector_items(fieldname, field, vitems)
  File "/home/nlp/*/anaconda3/envs/riken/lib/python3.6/site-packages/whoosh/codec/whoosh3.py", line 244, in add_vector_items
    self.add_column_value(vecfield, VECTOR_COLUMN, offset)
  File "/home/nlp/*/anaconda3/envs/riken/lib/python3.6/site-packages/whoosh/codec/base.py", line 821, in add_column_value
    self._get_column(fieldname).add(self._docnum, value)
  File "/home/nlp/*/anaconda3/envs/riken/lib/python3.6/site-packages/whoosh/columns.py", line 678, in add
    self._dbfile.write(self._pack(v))
struct.error: 'I' format requires 0 <= number <= 4294967295

Схема: 

schema = Schema(title=TEXT(stored=False, phrase=False, field_boost=2.0, analyzer=my_analyzer, vector=True),
    abstract=TEXT(stored=False, phrase=False, analyzer=my_analyzer, vector=True),
    pmid=ID(stored=True),
    mesh_set=KEYWORD(stored=True, scorable=True),
    stored_title=STORED,
    stored_abstract=STORED)

Папка индекса в настоящее время весит около 45 ГБ.В чем именно проблема здесь?Разве Whoosh просто не создан для переноса такого количества данных?

1 Ответ

0 голосов
/ 27 декабря 2018

Похоже, что поле, используемое в качестве индекса документа, предназначено только для 32-разрядного целого без знака, что дает ограничение примерно в 4 млн. Документов.

Исходя из этой проблемы в официальном репозитории Whoosh, простое изменение размера этого поля вызывает проблемы в других местах, поэтому его невозможно решить тривиально.

С Whooshне поддерживается активно, если вы не хотите копаться в источнике, вам, вероятно, следует изучить альтернативы.

...