Как сделать модель скользящего окна для интеллектуального анализа потока данных? - PullRequest
Новая
       13

Как сделать модель скользящего окна для интеллектуального анализа потока данных?

2 голосов
/ 01 июня 2010

у нас есть ситуация, когда поток (данные от датчика или данные о потоке кликов на сервере) поступает с алгоритмом скользящего окна, мы должны хранить последние (скажем) 500 выборок данных в памяти. Затем эти образцы используются для создания гистограмм, агрегатов и сбора информации об аномалиях во входном потоке данных.

подскажите пожалуйста, как сделать такое раздвижное окно.

1 Ответ

4 голосов
/ 02 июня 2010

Если вы спрашиваете, как хранить и поддерживать эти значения в режиме скользящего окна, рассмотрите простой пример, который отслеживает текущее среднее из последних 10 значений некоторого случайного потока данных: 

WINDOW_SIZE = 10;
x = nan(WINDOW_SIZE,1);

%# init
counter = 0;
stats = [NaN NaN];                    %# previous/current value

%# prepare figure
SHOW_LIM = 200;
hAx = axes('XLim',[1 SHOW_LIM], 'YLim',[200 800]);
hLine = line('XData',1, 'YData',nan, 'EraseMode','none', ...
    'Parent',hAx, 'Color','b', 'LineWidth',2);

%# infinite loop!
while true
   val = randi([1 1000]);            %# get new value from data stream
   x = [ x(2:end) ; val ];           %# add to window in a cyclic manner
   counter = counter + 1;

   %# do something interesting with x
   stats(1) = stats(2);              %# keep track of the previous mean
   stats(2) = nanmean(x);            %# update the current mean

   %# show and update plot
   set(hLine, 'XData',[counter-1 counter], 'YData',[stats(1) stats(2)])
   if rem(counter,SHOW_LIM)==0
      %# show only the last couple of means
      set(hAx, 'XLim', [counter counter+SHOW_LIM]);
   end
   drawnow
   pause(0.02)
   if ~ishandle(hAx), break, end     %# break in case you close the figure
end

animation

Обновление

Свойство EraseMode=none устарело и удалено в последних версиях. Вместо этого используйте функцию animatedline для аналогичной функции.

...