Корреляция Пирсона в PHP - PullRequest
Новая
       11

Корреляция Пирсона в PHP

3 голосов
/ 09 марта 2010

Я пытаюсь реализовать расчет коэффициента корреляции людей между двумя наборами данных в php. Я просто пытаюсь сделать скрипт переноса Python, который можно найти по этому адресу http://answers.oreilly.com/topic/1066-how-to-find-similar-users-with-python/

моя реализация следующая: 

class LB_Similarity_PearsonCorrelation implements LB_Similarity_Interface{
public function similarity($user1, $user2){

    $sharedItem = array();
    $pref1 = array();
    $pref2 = array();

    $result1 = $user1->fetchAllPreferences();
    $result2 = $user2->fetchAllPreferences();

    foreach($result1 as $pref){
        $pref1[$pref->item_id] = $pref->rate;
    }

    foreach($result2 as $pref){
        $pref2[$pref->item_id] = $pref->rate;
    }

    foreach ($pref1 as $item => $preferenza){
        if(key_exists($item,$pref2)){
            $sharedItem[$item] = 1;
        }
    }

    $n = count($sharedItem);
    if ($n == 0) return 0;

    $sum1 = 0;$sum2 = 0;$sumSq1 = 0;$sumSq2 = 0;$pSum = 0;

    foreach ($sharedItem as $item_id => $pre) {
        $sum1 += $pref1[$item_id];
        $sum2 += $pref2[$item_id];

        $sumSq1 += pow($pref1[$item_id],2);
        $sumSq2 += pow($pref2[$item_id],2);

        $pSum += $pref1[$item_id] * $pref2[$item_id];
    }

    $num = $pSum - (($sum1 * $sum2) / $n);
    $den = sqrt(($sumSq1 - pow($sum1,2)/$n) * ($sumSq2 - pow($sum2,2)/$n));
    if ($den == 0) return 0;
    return $num/$den;

}
}

Для лучшего понимания кода метод fetchAllPreferences возвращает набор объектов, которые на самом деле являются элементами, превращает их в массив для простоты управления

Я не уверен, что эта реализация верна, в частности, у меня есть некоторые сомнения в правильности вычисления знаменателя.

Любой совет приветствуется.

спасибо заранее!

Ответы [ 3 ]

4 голосов
/ 09 марта 2010

Ваш алгоритм выглядит математически правильным, но численно нестабильным. Нахождение суммы квадратов в явном виде - рецепт катастрофы. Что делать, если у вас есть такие номера, как array(10000000001, 10000000002, 10000000003)? Численно устойчивый однопроходный алгоритм для вычисления дисперсии может быть найден в Википедии , и тот же принцип может быть применен к вычислению ковариации.

Еще проще, если вам не важна скорость, вы можете просто использовать два прохода. Найдите средства в первом проходе, затем вычислите дисперсии и ковариации, используя формулу из учебника во втором проходе.

3 голосов
/ 19 января 2016

Это мое решение: 

function php_correlation($x,$y){
    if(count($x)!==count($y)){return -1;}   
    $x=array_values($x);
    $y=array_values($y);    
    $xs=array_sum($x)/count($x);
    $ys=array_sum($y)/count($y);    
    $a=0;$bx=0;$by=0;
    for($i=0;$i<count($x);$i++){     
        $xr=$x[$i]-$xs;
        $yr=$y[$i]-$ys;     
        $a+=$xr*$yr;        
        $bx+=pow($xr,2);
        $by+=pow($yr,2);
    }   
    $b = sqrt($bx*$by);
    if($b==0) return 0;
    return $a/$b;
}

http://profprog.ru/korrelyaciya-na-php-php-simple-pearson-correlation/

1 голос
/ 10 марта 2010

попробуйте мой пакет здесь

http://www.phpclasses.org/browse/package/5854.html

...