Как проиндексировать CSV-файлы с помощью DIG в Solr - PullRequest
Новая
       29

Как проиндексировать CSV-файлы с помощью DIG в Solr

0 голосов
/ 05 июля 2018

Я новичок в solr, поэтому, возможно, я неправильно написал dih. У меня уже есть данные в моей базе данных solr, и мне нужно расширить мой файл dih так, чтобы он мог индексировать файл csv, который содержит больше информации и данных csv и solr db отображаются с помощью общего идентификатора. Что я сделал, это -find в коде ниже

Это мой CSV-файл -> 

Node_IP            probe_name      Global_ID    
10.53.3.87         ILRNAPSUD03     4b44aaff1e09f3d793fe9    
10.224.47.26       ILRNAPSUD03     47eebea2c2d485b59

Вот фрагмент кода -> 

<entity name="tmin"
 processor="XPathEntityProcessor"
 dataSource="FileDataSource"
 stream="true"
 url="${pickupdir.fileAbsolutePath}"
 onError="skip"
 forEach="/execution/" 
 transformer="script:makePair,script:makeLogPair, TemplateTransformer, 
 RegexTransformer, HTMLStripTransformer" 
>
<field column="jobid_t"  xpath="/execution/@jobId" />
<field column="destinationid_t"  xpath="/execution/@destinationid" />
<field column="id"  template="${tmin.destinationid_t}"  />
<field column="log_param"  xpath="/execution/log/@severity"  />
<field column="log"  xpath="/execution/log" />

<entity name="importcsv"
 processor="LineEntityProcessor"
 url="C:\Users\arpiagar\Desktop\IP Probe name_ILRNAPSUD01.csv"
 rootEntity="false"
 dataSource="FileDataSource" 
 header="true"
 separator="," 
 transformer="TemplateTransformer, RegexTransformer,script:mapcsv"  
>
<field column="rawLine"  groupNames="Node_IP,probe_name,Global_ID"/>
<field column="id"  name="Global_ID"  />
<field column="probe_name" name="probe_name" />

</entity>
</entity>

Мне нужно сопоставить идентификатор в сущности tmin с идентификатором, который мы получим после индексации данных CSV и индексирования probe_name и node_ip для этого конкретного идентификатора.

...