Отправка PDF в Solr с помощью Ajax - PullRequest
0 голосов
/ 11 октября 2018

Я пытаюсь отправить (опубликовать) pdf файлы в Solr / Tika для извлечения и индексации текста с использованием Ajax / js.Я получил следующую команду curl:

curl 'http://localhost:8983/solr/techproducts/update/extract?literal.id=doc1&commit=true' -F "myfile=@/PathToFile/SomeDoc.pdf"

Эта команда помещает нужный PDF-файл в индекс Solr, и я могу получить его очень хорошо.Тем не менее, я должен быть в состоянии сделать это из веб-браузеров.После долгих поисков и поисков я получил следующий код js ПОЧТИ работает.Он возвращает код состояния 0 и статус Success, но ничто не фиксируется в индексе:

   $("#solrPost").click(function(event) {
        event.stopPropagation();
        event.preventDefault();

        /* Read a local pdf file as a blob */
        let fileAsBlob = null;
        let file = $('#upload_file')[0].files[0];
        let myReader = new FileReader();

        myReader.onloadend = function() {
            fileAsBlob = myReader.result;
            sendToSolr(fileAsBlob); 
        };
        fileAsBlob = myReader.readAsArrayBuffer(file);

        function sendToSolr(fileAsBlob) {
            $.ajax({ 
                url:"http://localhost:8983/solr/techproducts/update/extract?literal.id=doc2&commit=true",
                type: 'POST',
                data: fileAsBlob,
                cache: false,
                crossOrigin: true,
                dataType: 'jsonp',
                jsonp: 'json.wrf',
                processData: false,
                contentType: false, 

                success: function(data, status) {
                    console.log("Ajax.post successful, status: " + data.responseHeader.status + "\t status text: " + status);
                    console.log("debug");
                },
                error: function(data, status) {
                    console.log("Ajax.post error, status: " + data.status + "\t status text:" + data.statusText);
                },
                done: function(data, status) {
                    console.log("Ajax.post Done");
                }
            });
        }

Это НАСТОЛЬКО близко к работе, но я просто не могу понять, что происходит не так.Все показания (со стороны клиента) хороши, но в индекс ничего не добавлено.Примечание:

  1. FileReader работает, я вижу массив того же размера, что и исходный pdf.
  2. Несмотря на то, что я указываю POST, при проверке вкладки сети в браузере/ debugger, там написано GET.
  3. Я жестко запрограммировал literal.id = doc2 для простоты, а не для долгосрочной стратегии ...

Я знаю, что есть похожие посты,но ни один из них не решает проблему извлечения PDF-файлов с использованием Solr / Tika вне предоставленного пост-скрипта.Заранее спасибо.

1 Ответ

0 голосов
/ 31 октября 2018

Ну, это заняло некоторый поиск, но благодаря сообщению "tonejac" я нашел решение.Если вы посмотрите на: [ JQuery Ajax отправляет GET вместо POST В ОЧЕНЬ последнем комментарии говорится, что если вы используете dataType: jsonp, то «POST» преобразуется в «GET».Я удалил jsonp, установил плагин для решения проблемы CORS, которую я пытался избежать с помощью jsonp, и Viola, это сработало.Для интересующихся рабочий код выложен ниже.Это не модно или надежно, но позволяет мне публиковать или получать документы (.pdf, .docx ...) в Solr из веб-приложения.Я только опубликовал код js, но html прост и обеспечивает ввод типа «файл», а также ввод данных для установки идентификатора для публикации документов или поиска по идентификатору.Есть две кнопки, solrPost и solrGet, которые вызывают слушателей в js.Функция connectSolr () вызывается из html onLoad.

function connectSolr() {
$("#solrPost").click(function(event) {
    event.stopPropagation();
    event.preventDefault();

    /* Read a local pdf file as a blob */
    let fileAsBlob = null;
    let file = $('#upload_file')[0].files[0];
    let myReader = new FileReader();

    myReader.onloadend = function() {
        fileAsBlob = myReader.result;

        sendToSolr(fileAsBlob); 
    };
    fileAsBlob = myReader.readAsArrayBuffer(file);
    /* Get the unique Id for the doc and append to the extract url*/
    let docId = $("#userSetId").val();
    let extractUrl = "http://localhost:8983/solr/techproducts/update/extract/?commit=true&literal.id=" + docId;


    /* Ajax call to Solr/Tika to extract text from pdf and index it */
    function sendToSolr(fileAsBlob) {
        $.ajax({ 
            url: extractUrl,
            type: 'POST',
            data: fileAsBlob,
            cache: false,
            jsonp: 'json.wrf',
            processData: false,
            contentType: false, 
            echoParams: "all",

            success: function(data, status) {
                console.log("Ajax.post successful, status: " + data.responseHeader.status + "\t status text: " + status);
                console.log("debug");
            },
            error: function(data, status) {
                console.log("Ajax.post error, status: " + data.status + "\t status text:" + data.statusText);
            },
            done: function(data, status) {
                console.log("Ajax.post Done");
            },
        });
    }
});


$("#solrGet").click(function(event) {
    event.stopPropagation();
    event.preventDefault();
    let docId = "id:" + $("#docId").val();
    $.ajax({
        url:"http://localhost:8983/solr/techproducts/select/",
        type: "get",
        dataType: "jsonp",
        data: {
            q: docId
            //wt: "json",
            //indent: "true"
        },
        jsonp: "json.wrf",
        //"json.wrf": "?",
        success: function(data, status) {
            renderDoc(data, status);
        },
        error: function(data, status) {
            console.log("Ajax.get error, Error: " + status);
        },
        done: function(data, status) {
            console.log("Ajax.get Done");
        }
    });
    console.log("Debug");
});


let  renderDoc = function(theText, statusCode) {
    let extractedText = theText.response.docs[0].content[0];
    let extractedLinks = theText.response.docs[0].links;
    let $textArea = $("#textArea");
    $textArea.empty();
    let sents = extractedText.split('\n')
    sents.map(function(element, i) {
        let newSpan = $("<span />");
        $textArea.append(newSpan.html(element).append("<br/>"));
    });
    console.log("debug");
};

}

...