PHP Lucene - Индексация - Сбой в Linux после 2.000.000 системных блоков

Question

Я работал над созданием индекса с использованием последней версии Zend Framework. Интерфейс работает нормально и все остальное. Проблема, с которой я столкнулся сейчас, - это «повторная индексация» или создание индекса. Я проверил все остальное, очистил данные и дважды проверил качество данных.

Процесс всегда останавливается при максимально вероятной записи 15.000 и ограничении индекса dir 2.000.000. Именно я решил собрать приложение, скомпилированное в java с версией lucene3.0.3 для запуска индексации

Fatal error: Uncaught exception 'Zend_Search_Lucene_Exception' with message 'Unsupported segments file format' in 

Похоже, последний формат, используемый Zend Lucene - это 2.3
Любые идеи, как решить эту проблему, я очень ценю ваш вклад

Answer 1

Я настроил пример этого сайта http://www.techcrony.info/?p=33, этот пример читает текстовые файлы из каталога данных. Итак, новые настраиваемые функции должны читать информацию из базы данных MySQL:

public static void main(String[] args) throws Exception
{....System.out.print("Index dir arg_0 : " + indexDir + "\r");
    String id ="%";

    long start = new Date().getTime();
    int numIndexed = index_main(indexDir, id);
    long end = new Date().getTime();

    System.out.print("End Program... \r");

}  
private static int index_main(File indexDir, String id )throws IOException {

    int numIndexed = 0;
    try{
        IndexWriter writer =
            new IndexWriter(indexDir, new StandardAnalyzer(), true);
        writer.setUseCompoundFile(false);

      java.sql.Connection conn = linktodata();
      int rowCount = 0;
     ...

Как видите, я использовал lucene-core-2.3.0.jar

javac -cp .:lucene-core-2.3.0.jar:mysql-connector-java-5.1.16-bin.jar Indexer.java

Run:

java -cp .:lucene-core-2.3.0.jar:mysql-connector-java-5.1.16-bin.jar Indexer /home/public_html/index_main

Теперь самый важный вопрос: кто-нибудь знает, может ли PHP lucene управлять более чем 1 000 000 документов?

Answer 2

У меня нет опыта с этим.Но на сайте Zend Lucene утверждается, что в настоящее время поддерживается версия индекса Lucene 2.3.Возможно, версия 3.0.3 поддерживается не полностью.

[1] В настоящее время поддерживается формат файла индекса Lucene версии 2.3 (начиная с Zend Framework 1.6).

См .: http://framework.zend.com/manual/en/zend.search.lucene.java-lucene.html