Нужна помощь в индексации XML-файлов в Solr с помощью DataImportHandler

Question

Я не знаю Java, я не знаю XML, и я не знаю Lucene. Теперь, когда это не так. Я работал над созданием небольшого проекта, используя apache solr / lucene. Моя проблема в том, что я не могу проиндексировать XML-файлы. Я думаю, что понимаю, как это должно работать, но я могу ошибаться. Я не уверен, какая информация вам нужна, чтобы помочь мне, поэтому я просто опубликую код.

<dataConfig>
<dataSource type="FileDataSource" encoding="UTF-8" />
<document>
<!-- This first entity block will read all xml files in baseDir and feed it into the second entity block for handling. -->
<entity name="AMMFdir" rootEntity="false" dataSource="null"
        processor="FileListEntityProcessor"
        fileName="^*\.xml$" recursive="true"
        baseDir="C:\Documents and Settings\saperez\Desktop\Tomcat\apache-tomcat-7.0.23\webapps\solr\data\AMMF_New"
        >
<entity 
        processor="XPathEntityProcessor"
        name="AMMF"
        pk="AcquirerBID"
        datasource="AMMFdir"
        url="${AMMFdir.fileAbsolutePath}"
        forEach="/AMMF/Merchants/Merchant/"
        transformer="DateFormatTransformer, RegexTransformer"
        >

    <field column="AcquirerBID" xpath="/AMMF/Merchants/Merchant/AcquirerBID" />
    <field column="AcquirerName" xpath="/AMMF/Merchants/Merchant/AcquirerName" />
    <field column="AcquirerMerchantID" xpath="/AMMF/Merchants/Merchant/AcquirerMerchantID" />

</entity>
</entity>
</document>

Пример XML-файла

<?xml version="1.0" encoding="utf-8"?>
<AMMF xmlns="http://tempuri.org/XMLSchema.xsd" Version="11.2" CreateDate="2011-11-07T17:05:14" ProcessorBINCIB="422443" ProcessorName="WorldPay" FileSequence="18">
<Merchants Count="153">
    <Merchant ChangeIndicator="A" LocationCountry="840">
    <AcquirerBID>10029881</AcquirerBID>
    <AcquirerName>WorldPay</AcquirerName>
    <AcquirerMerchantID>*</AcquirerMerchantID>
    <Merchant ChangeIndicator="A" LocationCountry="840">
    <AcquirerBID>10029882</AcquirerBID>
    <AcquirerName>WorldPay2</AcquirerName>
    <AcquirerMerchantID>Hello World!</AcquirerMerchantID>
</Merchant>
</Merchants>

У меня есть это в схеме.

<field name="AcquirerBID" type="string" indexed="true" stored="true" required="true" /> 
<field name="AcquirerName" type="string" indexed="true" stored="true" />
<field name="AcquirerMerchantID" type="string" indexed="true" stored="true"/>

У меня есть это в конфигурации.

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler" default="true" >
<lst name="defaults">
<str name="config">AMMFconfig.xml</str>
</lst>
</requestHandler>

Answer 1

Пример XML не правильно сформирован.Это может объяснять ошибки при индексации файлов:

$ xmllint sample.xml
sample.xml:13: parser error : expected '>'
</Merchants>
          ^
sample.xml:14: parser error : Premature end of data in tag Merchants line 3
sample.xml:14: parser error : Premature end of data in tag AMMF line 2

Исправленный XML

Вот как я думаю, что ваши примерные данные должны выглядеть (Не проверял файл XSD)

<?xml version="1.0" encoding="utf-8"?>
<AMMF xmlns="http://tempuri.org/XMLSchema.xsd" Version="11.2" CreateDate="2011-11-07T17:05:14" ProcessorBINCIB="422443" ProcessorName="WorldPay" FileSequence="18">
  <Merchants Count="153">
    <Merchant ChangeIndicator="A" LocationCountry="840">
      <AcquirerBID>10029881</AcquirerBID>
      <AcquirerName>WorldPay</AcquirerName>
      <AcquirerMerchantID>*</AcquirerMerchantID>
    </Merchant>
    <Merchant ChangeIndicator="A" LocationCountry="840">
      <AcquirerBID>10029882</AcquirerBID>
      <AcquirerName>WorldPay2</AcquirerName>
      <AcquirerMerchantID>Hello World!</AcquirerMerchantID>
    </Merchant>
  </Merchants>
</AMMF>

Альтернативное решение

Я знаю, что вы сказали, что вы не программист, но эта задача значительно проще, если вы используете интерфейс solrj .

Следующееэто отличный пример, который индексирует ваш пример XML

//
// Dependencies
// ============
import org.apache.solr.client.solrj.SolrServer
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer
import org.apache.solr.common.SolrInputDocument

@Grapes([
    @Grab(group='org.apache.solr', module='solr-solrj', version='3.5.0'),
])

//
// Main
// =====

SolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr/");
def i = 1

new File(".").eachFileMatch(~/.*\.xml/) { 

    it.withReader { reader ->
        def ammf = new XmlSlurper().parse(reader)

        ammf.Merchants.Merchant.each { merchant ->
            SolrInputDocument doc = new SolrInputDocument();

            doc.addField("id",           i++)
            doc.addField("bid_s",        merchant.AcquirerBID)
            doc.addField("name_s",       merchant.AcquirerName)
            doc.addField("merchantId_s", merchant.AcquirerMerchantID)

            server.add(doc)
        }
    }

}

server.commit()

Groovy - это язык сценариев Java, который не требует компиляции.Его было бы так же легко поддерживать, как и файл конфигурации DIH.

Answer 2

Чтобы выяснить, как работает импорт DIH XML, я советую сначала внимательно прочитать эту главу в вики DIH: http://wiki.apache.org/solr/DataImportHandler#HttpDataSource_Example.

Откройте ссылку Slashdot http://rss.slashdot.org/Slashdot/slashdot в своем браузере,Затем щелкните правой кнопкой мыши на странице и выберите Просмотр источника.В этом примере используется файл XML.Сравните это с конфигурацией XPathEntityProcessor в примере DIH, и вы увидите, как легко импортировать любой файл XML в Solr.

Если вам нужна дополнительная помощь, просто спросите ...

Answer 3

Часто лучшее, что нужно сделать, это НЕ использовать DIH.Насколько сложно было бы просто опубликовать эти данные, используя API и пользовательский скрипт на языке, который вы знаете?

Преимущество этого подхода двоякое:

1. Вы узнаете больше о своей системе и узнаете ее лучше.
2. Вы не тратите время на попыткичтобы понять DIH.

Недостатком является то, что вы немного изобретаете колесо, но DIH - вещь, которую нужно понять.