Использование Solr CELL ExtractingRequestHandler для индексации / извлечения файлов из форматов пакетов - PullRequest
0 голосов
/ 25 октября 2010

Можете ли вы использовать ExtractingRequestHandler и Tika с любым из форматов сжатых файлов (zip, tar, gz и т. Д.), Чтобы извлечь содержимое для индексации?

Я отправляю solr файл archived.tar с помощью curl,curl "http://localhost:8983/solr/update/extract?literal.id=doc1&fmap.content=body_texts&commit=true" -H 'Тип содержимого: application / octet-stream' --data-binary" @ / home / archived.tar "Результат, который я получаю при запросе документа, заключается в том, что имена файлов внутриархив индексируется как «body_texts», но содержимое этих файлов не извлекается и не включается. Такое поведение я не ожидал. Ссылка: http://www.lucidimagination.com/Community/Hear-from-the-Experts/Articles/Content-Extraction-Tika#article.tika.example. Когда я отправляю 1 из фактических документов внутри архива, используятой же командой curl извлеченный контент затем сохраняется в поле «body_texts». Я пропустил шаг для сжатых файлов?

Я добавил все зависимости извлечения, как указано в mat в http://outoftime.lighthouseapp.com/projects/20339/tickets/98-solr-cell и могу успешно извлекать данные из документов MS Word, PDF, HTML.

Я использую следующие версии библиотеки: Solr 1.40, Solr Cell 1.4.1, с Tika Core 0.4

Учитывая все, что я прочитал, эта версия Tika должна поддерживать извлечение данных из всех файлов в сжатом файле. Любая помощь или предложения будут оценены.

1 Ответ

1 голос
/ 10 марта 2011

Краткий ответ: Solr Cell 1.4.1 и Tika Core 0.6.

Длинный ответ: после многих головных болей я смог заставить это работать. Я отвечу на это как для людей, использующих solr напрямую, так и для людей, использующих solr с солнечным пятном библиотеки Ruby (что было моей проблемой).

Вот что я сделал: я использовал этот плагин https://github.com/tomasc/sunspot_cell для расширения пятна и придания ему функции прикрепления. (Игнорируйте этот шаг, если вы не используете ruby ​​/ sunspot)

v1.4.1 работает для отдельных файлов, но не для сжатых файлов, поэтому мне пришлось немного разобраться. Я загрузил кодовую базу v1.4.1 из http://lucene.apache.org/solr/ и взял dist / apache-solr-cell-1.4.1.jar, затем мне пришлось выгрузить библиотеки Tika из ветви 1.5 http://svn.apache.org/viewvc/lucene/solr/branches/branch-1.5-dev/contrib/extraction/lib/.

Вы можете скачать каждый из них по отдельности или использовать svn для оформления ветки по

svn co http://svn.apache.org/repos/asf/lucene/solr/branches/branch-1.5-dev

Или просто извлеките папку библиотеки:

svn co http://svn.apache.org/repos/asf/lucene/solr/branches/branch-1.5-dev/contrib/extraction/lib/
...