Как правильно использовать ZipfDistribution из математической библиотеки Apache commons в Java? - PullRequest
Новая
       29

Как правильно использовать ZipfDistribution из математической библиотеки Apache commons в Java?

2 голосов
/ 28 октября 2019

Я хочу создать источник данных (в Java) на основе слов (из словаря), которые следуют за распространением Zipf. Итак, я пришел к ZipfDistribution и NormalDistribution библиотеки Apache commons. К сожалению, информация о том, как пользоваться этими классами, встречается редко. Я пытался провести некоторые тесты, но я не уверен, правильно ли я их использую. Я слежу только за тем, что написано в документации каждого конструктора. Но результаты не кажутся «хорошо распределенными». 

import org.apache.commons.math3.distribution.NormalDistribution;
import org.apache.commons.math3.distribution.ZipfDistribution;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;

public class ZipfDistributionDataSource extends RichSourceFunction<String> {
    private static final String DISTINCT_WORDS_URL = "https://raw.githubusercontent.com/dwyl/english-words/master/words_alpha.txt";

    public static void main(String[] args) throws Exception {
        ZipfDistributionDataSource zipfDistributionDataSource = new ZipfDistributionDataSource();
        StringBuffer stringBuffer = new StringBuffer(zipfDistributionDataSource.readDataFromResource());
        String[] words = stringBuffer.toString().split("\n");
        System.out.println("size: " + words.length);

        System.out.println("Normal Distribution");
        NormalDistribution normalDistribution = new NormalDistribution(words.length / 2, 1);
        for (int i = 0; i < 10; i++) {
            int sample = (int) normalDistribution.sample();
            System.out.print("sample[" + sample + "]: ");
            System.out.println(words[sample]);
        }

        System.out.println();
        System.out.println("Zipf Distribution");
        ZipfDistribution zipfDistribution = new ZipfDistribution(words.length - 1, 1);
        for (int i = 0; i < 10; i++) {
            int sample = zipfDistribution.sample();
            System.out.print("sample[" + sample + "]: ");
            System.out.println(words[sample]);
        }
    }

    private String readDataFromResource() throws Exception {
        URL url = new URL(DISTINCT_WORDS_URL);
        InputStream in = url.openStream();
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));
        StringBuilder builder = new StringBuilder();
        String line;
        try {
            while ((line = bufferedReader.readLine()) != null) {
                builder.append(line + "\n");
            }
            bufferedReader.close();

        } catch (IOException ioe) {
            ioe.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return builder.toString();
    }
}

output 

size: 370103
Normal Distribution
sample[185049]: metathesize
sample[185052]: metathetically
sample[185051]: metathetical
sample[185050]: metathetic
sample[185049]: metathesize
sample[185050]: metathetic
sample[185052]: metathetically
sample[185050]: metathetic
sample[185052]: metathetically
sample[185050]: metathetic

Zipf Distribution
sample[11891]: anaphasic
sample[314]: abegge
sample[92]: abandoner
sample[3]: aah
sample[36131]: blepharosynechia
sample[218]: abbozzo
sample[8]: aalii
sample[5382]: affing
sample[6394]: agoraphobia
sample[4360]: adossed

1 Ответ

1 голос
/ 28 октября 2019

Вы используете его очень хорошо с точки зрения кода :) Проблема заключается в том, что исходный материал заказывается Zipf, когда он четко алфавитный. Весь смысл использования ZipfDistribution заключается в том, что слова [0] должны быть наиболее распространенным словом (подсказка: это «the») и примерно в два раза чаще слова [1]) и т. Д.

https://en.wikipedia.org/wiki/Word_lists_by_frequency https://en.wikipedia.org/wiki/Most_common_words_in_English

...