Слишком много точек данных в наборе. Ищете способы обрезки

Question

Я собираю данные с веб-сайта. Я рассчитываю получить 10.000 точек данных (время - значение), умноженных на семь - с течением времени. Это способ многого. Как для хранения, так и для построения графика в реальном времени (с помощью jQuery flot). Я ищу текст, касающийся подобных проблем. Чтобы быть более точным: алгоритмы, статистическая математика для поиска наименее значимых точек (если это было бы хорошей идеей), общие идеи по решению этой проблемы. Если бы текст был доступен в сети, это было бы здорово. Ссылка на книгу тоже подойдет.

Answer 1

Читая статью об Афа бета-обрезке в Википедии, я пришел к этой идее Наименее значимой точкой является точка, где произошло наименьшее изменение. В массиве данных это будет разница между arr[i-1] и arr[i+1]. Тогда легко найти i:

var smallest = 10000; // large to start with
var rememberI = 0;
function prune(arr){
    for(i in arr){
        if(i > 0 && i < arr.length){
            var test = arr[i+1] - arr[i-1];
            if(test < smallest){
                smallest = test;
                rememberI = i;
            }
        }
    }
    return rememberI;
}

Я еще не проверял, но это выглядит как многообещающая идея.