У нас есть отчеты, публикуемые ежедневно в Solr, и мы наблюдали странное поведение, когда после каждого прогона число документов увеличивается.Напримердо вчерашнего дня счет коллекции составлял 500, а сегодня мы выдвинули 10 документов, поэтому счет должен быть 510, но мы видим 511 или 512 в качестве счета.В чем может быть причина?
Мы отправляем данные Hive и используем solr-hive-serde-3.0.0.jar для создания коллекции Solr.В нашей таблице есть столбец с именем load_date, и мы выполняем запрос типа
вставка в abc_table select * из таблицы xyz, где load_date = '2019-02-27';
, где таблица xyzподключиться к коллекции Solr.
CREATE EXTERNAL TABLE `xyz`(
)
ROW FORMAT SERDE
'com.lucidworks.hadoop.hive.LWSerDe'
STORED BY
'com.lucidworks.hadoop.hive.LWStorageHandler'
WITH SERDEPROPERTIES (
'field.delim'=',',
'serialization.format'=',')
LOCATION
'hdfs://hdfs path'
TBLPROPERTIES (
'last_modified_by'='a',
'last_modified_time'='1111',
'numFiles'='0',
'numRows'='0',
'rawDataSize'='0',
'solr.collection'='xyz',
'solr.query'='*:*',
'solr.server.url'='http://10.10.10.10:8886/solr',
'totalSize'='0',
'transient_lastDdlTime'='1551191527')