Счетчик Solr увеличивается с каждым днем - PullRequest
0 голосов
/ 27 февраля 2019

У нас есть отчеты, публикуемые ежедневно в Solr, и мы наблюдали странное поведение, когда после каждого прогона число документов увеличивается.Напримердо вчерашнего дня счет коллекции составлял 500, а сегодня мы выдвинули 10 документов, поэтому счет должен быть 510, но мы видим 511 или 512 в качестве счета.В чем может быть причина?

Мы отправляем данные Hive и используем solr-hive-serde-3.0.0.jar для создания коллекции Solr.В нашей таблице есть столбец с именем load_date, и мы выполняем запрос типа

вставка в abc_table select * из таблицы xyz, где load_date = '2019-02-27';

, где таблица xyzподключиться к коллекции Solr.

CREATE EXTERNAL TABLE `xyz`(
)
ROW FORMAT SERDE
  'com.lucidworks.hadoop.hive.LWSerDe'
STORED BY
  'com.lucidworks.hadoop.hive.LWStorageHandler'
WITH SERDEPROPERTIES (
  'field.delim'=',',
  'serialization.format'=',')
LOCATION
  'hdfs://hdfs path'
TBLPROPERTIES (
  'last_modified_by'='a',
  'last_modified_time'='1111',
  'numFiles'='0',
  'numRows'='0',
  'rawDataSize'='0',
  'solr.collection'='xyz',
  'solr.query'='*:*',
  'solr.server.url'='http://10.10.10.10:8886/solr',
  'totalSize'='0',
  'transient_lastDdlTime'='1551191527')
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...