проблема при интеграции Apache Nutch (выпуск 1.2) в Apach Solr (транк) - получил исключение Solr - PullRequest
Новая
       26

проблема при интеграции Apache Nutch (выпуск 1.2) в Apach Solr (транк) - получил исключение Solr

0 голосов
/ 11 сентября 2010

Я настроил solrindex-mapping.xml (Nutch) и настроил мои solr schema.xml и solrconfig.xml тоже. Оба хорошо работают на одном прогоне, но если я использую bin/nutch solrindex ..., я получаю исключение: 

org.apache.solr.common.SolrException: Document [null] missing required field: id

Я настроил id во всех конфигурационных файлах. На solrindex-mapping.xml он сопоставляется с url на id, а на schema.xml от solr я тоже настроил id. Я не знаю что не так. Я добавляю некоторые результаты регистрации в org.apache.nutch.indexer.solr.SolrWriter.java. Я добавляю один логинфо в эти строки, когда поля чтения добавляются в SolrInputDocument. Результат после сборки и запуска: 

2010-09-11 21:31:06,326 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: digest, value: bc315927b7c01c7a2905d5b6872bc35b
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - close()

Вы увидите только 3 поля чтения O_o. Кто-нибудь знает, если что-то не так в моей конфигурации? Мне нужен действительно быстрый ход, потому что я сейчас пишу на бакалаврскую работу: / (об интеграции информации разнородных источников данных в локальной сети)

С уважением
Марсель =)

Остальная часть журнала: 

2010-09-11 21:31:06,079 INFO  solr.SolrWriter - open()
2010-09-11 21:31:06,280 INFO  solr.SolrMappingReader - source: content dest: content
2010-09-11 21:31:06,280 INFO  solr.SolrMappingReader - source: site dest: site
2010-09-11 21:31:06,280 INFO  solr.SolrMappingReader - source: title dest: metadata_title
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: host dest: host
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: segment dest: segment
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: boost dest: boost
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: digest dest: digest
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: tstamp dest: metadata_last_modified
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: lastModified dest: metadata_last_modified
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: url dest: url
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: url dest: id
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: url dest: id
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - source: url dest: url
2010-09-11 21:31:06,281 INFO  solr.SolrMappingReader - uniqueKey = id
2010-09-11 21:31:06,291 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,294 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,294 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,294 INFO  solr.SolrWriter - Key: digest, value: 18abadd34a2bd71a8336fa5e8c6dbedb
2010-09-11 21:31:06,306 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,306 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,306 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,306 INFO  solr.SolrWriter - Key: digest, value: 3267fd5ea03852cdc83383635d133fad
2010-09-11 21:31:06,310 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,310 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,310 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,311 INFO  solr.SolrWriter - Key: digest, value: b61607602ab99eda5684adc9966349d6
2010-09-11 21:31:06,314 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,314 INFO  solr.SolrWriter - Key: segment, value: 20100911212851
2010-09-11 21:31:06,314 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,314 INFO  solr.SolrWriter - Key: digest, value: 9bdb8df3d1addf254203542dd22096d3
2010-09-11 21:31:06,316 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,316 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,316 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,317 INFO  solr.SolrWriter - Key: digest, value: 66eb3639ae15655bf91dc53208f95167
2010-09-11 21:31:06,319 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,319 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,319 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,319 INFO  solr.SolrWriter - Key: digest, value: 6e0501b52e204c2a68d9caa70dd0dfa9
2010-09-11 21:31:06,326 INFO  solr.SolrWriter - write()
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: segment, value: 20100911212934
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: boost, value: 1.0
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - Key: digest, value: bc315927b7c01c7a2905d5b6872bc35b
2010-09-11 21:31:06,327 INFO  solr.SolrWriter - close()
2010-09-11 21:31:06,687 WARN  mapred.LocalJobRunner - job_local_0001
org.apache.solr.common.SolrException: Document [null] missing required field: id
Document [null] missing required field: id
request: http://127.0.0.1:8983/solr/update?wt=javabin&version=1
        at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:424)
        at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:243)
        at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:105)
        at org.apache.solr.client.solrj.SolrServer.add(SolrServer.java:49)
        at org.apache.nutch.indexer.solr.SolrWriter.close(SolrWriter.java:98)
        at org.apache.nutch.indexer.IndexerOutputFormat$1.close(IndexerOutputFormat.java:48)
        at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:474)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:411)
        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:216)
2010-09-11 21:31:07,556 ERROR solr.SolrIndexer - java.io.IOException: Job failed!

1 Ответ

0 голосов
/ 28 сентября 2010

Nutch 1.2 не работает с багажником Solr ...

Из списка рассылки Nutch (оригинальное сообщение здесь ) ...

Вы все знаете, работает ли 1.2 с текущей магистралью Solr?

Это не так, он использует Solr 1.4.x. Solr trunk использует несовместимый API.

...