Ошибка смещения строки в Solr при индексации простых документов - PullRequest
0 голосов
/ 24 января 2020

У меня есть несколько больших txt-файлов, каждая строка которых представляет собой полезную нагрузку json, и я использую map, чтобы сократить использование до ConcurrentUpdateSolrClient, чтобы сделать запрос на пакетное обновление Solr.

Конфигурация Solr довольно стандартна без каких-либо особых вещей.

При попытке загрузки, загрузка работает, но мы теряем как 300K, которые не проиндексированы в Solr. Я вижу эти ошибки на панели инструментов Solr и на своей карте уменьшаю журнал заданий.

Solr dashboard logs

mapreduce java job error log

Я делаю что-то неправильно или я неправильно настроил конфигурацию? Это ошибки смещения строки, говорящие мне, что серверная сторона не может сформировать строку. Это потому, что полезная нагрузка, которую я посылаю в Solr, слишком длинна?

Предложения будут благодарны! заблокирован на этом, так как потеря документов высока.

...