Solr / Lucene: фильтр для преобразования "номеров слов" в числа - PullRequest
Новая
       14

Solr / Lucene: фильтр для преобразования "номеров слов" в числа

1 голос
/ 21 марта 2012

Я использую Solr в качестве поискового интерфейса для большого массива музыкальных исполнителей / информации о треках.

Существует ли фильтр или другой способ преобразования «слов-чисел», таких как «пять», в их эквивалент?число («5») во время индекса в Lucene / Solr?

Например, при поиске «Ben Folds Five» в результате должно получиться «Ben Folds 5».

СуществуетPatternReplaceFilterFactory, но выполнение этого в регулярном выражении кажется излишним.

1 Ответ

1 голос
/ 22 марта 2012

Вот код, который работает (я использовал его в прошлом): 

import java.util.*;

class ConvertWordToNumber {

    public static String WithSeparator(long number) {
        if (number < 0) {
            return "-" + WithSeparator(-number);
        }
        if (number / 1000L > 0) {
            return WithSeparator(number / 1000L) + ","
                    + String.format("%1$03d", number % 1000L);
        } else {
            return String.format("%1$d", number);
        }
    }

    private static String[] numerals = { "zero", "one", "two",
            "three", "four", "five", "six", "seven", "eight", "nine", "ten",
            "eleven", "twelve", "thirteen", "fourteen", "fifteen", "sixteen",
            "seventeen", "eighteen", "ninteen", "twenty", "thirty", "forty",
            "fifty", "sixty", "seventy", "eighty", "ninety", "hundred" };

    private static long[] values = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
            13, 14, 15, 16, 17, 18, 19, 20, 30, 40, 50, 60, 70, 80, 90, 100 };

    private static ArrayList<String> list = new ArrayList<String>(
            Arrays.asList(numerals));

    public static long parseNumerals(String text) throws Exception {
        long value = 0;
        String[] words = text.replaceAll(" and ", " ").split("\\s");
        for (String word : words) {
            if (!list.contains(word)) {
                throw new Exception("Unknown token : " + word);
            }

            long subval = getValueOf(word);
            if (subval == 100) {
                if (value == 0)
                    value = 100;
                else
                    value *= 100;
            } else
                value += subval;
        }

        return value;
    }

    private static long getValueOf(String word) {
        return values[list.indexOf(word)];
    }

    private static String[] words = { "trillion", "billion", "million", "thousand" };
    private static long[] digits = { 1000000000000L, 1000000000L, 1000000L, 1000L };

    public static long parse(String text) throws Exception {
        text = text.toLowerCase().replaceAll("[\\-,]", " ").replaceAll(" and "," ");
        long totalValue = 0;
        boolean processed = false;
        for (int n = 0; n < words.length; n++) {
            int index = text.indexOf(words[n]);
            if (index >= 0) {
                String text1 = text.substring(0, index).trim();
                String text2 = text.substring(index + words[n].length()).trim();

                if (text1.equals(""))
                    text1 = "one";

                if (text2.equals(""))
                    text2 = "zero";

                totalValue = parseNumerals(text1) * digits[n] + parse(text2);
                processed = true;
                break;
            }
        }

        if (processed)
            return totalValue;
        else
            return parseNumerals(text);
    }


    public static void main(String[] args) throws Exception {
        Scanner in = new Scanner(System.in);
        System.out.print("Number in words : ");
        String numberWordsText = in.nextLine();
        System.out.println("Value : " + 
                ConvertWordToNumber.WithSeparator(
                ConvertWordToNumber.parse(numberWordsText)));
    }
}

Взято из здесь .

Вы можете использовать его для создания собственногоФильтр Solr.
Вот хороший пост об этом:

http://robotlibrarian.billdueber.com/building-a-solr-text-filter-for-normalizing-data/

Пожалуйста, внесите его в сообщество Solr, когда оно будет сделано.Вы можете написать свою собственную вики-страницу.

Для начала просто перейдите по ссылке, подобной этой:
http://wiki.apache.org/solr/SolrWordToNumberConverter

...