Анализируя шумные данные - PullRequest
8 голосов
/ 24 декабря 2009

Я недавно запустил ракету с барометрическим высотомером, точность которого составляет примерно 10 футов (рассчитывается по данным, полученным во время полета). Записанные данные имеют временные приращения 0,05 с на выборку, и график зависимости высоты от времени выглядит почти так же, как и при уменьшении масштаба на протяжении всего полета.

Проблема в том, что когда я пытаюсь вычислить другие значения, такие как скорость или ускорение, на основе данных, точность измерений делает вычисленные значения практически бесполезными. Какие методы я могу использовать для сглаживания данных, чтобы я мог рассчитать (или приблизить) разумные значения скорости и ускорения? Важно, чтобы основные события оставались в силе во времени, прежде всего 0 для первого входа и самая высокая точка во время полета (2707).

Данные по высоте следуют и измеряются в футах над уровнем земли. Первый раз будет 0,00, а каждый образец - 0,05 секунды после предыдущего. Пик в начале полета вызван технической проблемой, возникшей во время старта, и удаление шипа является оптимальным.

Первоначально я пытался использовать линейную интерполяцию, усредняя близлежащие точки данных, но потребовалось много итераций, чтобы сгладить данные, достаточные для интеграции, и сглаживание кривой удалило важные события апогея и уровня земли.

Вся помощь очень ценится. Обратите внимание, что это не полный набор данных, и я ищу предложения о лучших способах анализа данных, а не о том, чтобы кто-то ответил с преобразованным набором данных. Было бы неплохо использовать алгоритм на борту будущих ракет, который может прогнозировать текущую высоту / скорость / ускорение, не зная полных данных полета, хотя это и не требуется.

00000
00000
00000
00076
00229
00095
00057
00038
00048
00057
00057
00076
00086
00095
00105
00114
00124
00133
00152
00152
00171
00190
00200
00219
00229
00248
00267
00277
00286
00305
00334
00343
00363
00363
00382
00382
00401
00420
00440
00459
00469
00488
00517
00527
00546
00565
00585
00613
00633
00652
00671
00691
00710
00729
00759
00778
00798
00817
00837
00856
00885
00904
00924
00944
00963
00983
01002
01022
01041
01061
01080
01100
01120
01139
01149
01169
01179
01198
01218
01238
01257
01277
01297
01317
01327
01346
01356
01376
01396
01415
01425
01445
01465
01475
01495
01515
01525
01545
01554
01574
01594
01614
01614
01634
01654
01664
01674
01694
01714
01724
01734
01754
01764
01774
01794
01804
01814
01834
01844
01854
01874
01884
01894
01914
01924
01934
01954
01954
01975
01995
01995
02015
02015
02035
02045
02055
02075
02075
02096
02096
02116
02126
02136
02146
02156
02167
02177
02187
02197
02207
02217
02227
02237
02237
02258
02268
02278
02278
02298
02298
02319
02319
02319
02339
02349
02359
02359
02370
02380
02380
02400
02400
01914
02319
02420
02482
02523
02461
02502
02543
02564
02595
02625
02666
02707
02646
02605
02605
02584
02574
02543
02543
02543
02543
02543
02543
02554
02543
02554
02554
02554
02554
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02543
02533
02543
02543
02543
02543
02543
02543
02543
02543
02533
02523
02523
02523
02523
02523
02523
02523
02523
02543
02523
02523
02523
02523
02523
02523
02523
02523
02513
02513
02502
02502
02492
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02482
02472
02472
02472
02461
02461
02461
02461
02451
02451
02451
02461
02461
02451
02451
02451
02451
02451
02451
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02441
02431
02441
02431
02441
02431
02420
02431
02420
02420
02420
02420
02420
02420
02420
02420
02420
02420
02420
02420
02410
02420
02410
02410
02410
02410
02400
02400
02410
02400
02400
02400
02400
02400
02400
02400
02400
02400
02400
02400
02400
02390
02390
02390
02380
02380
02380
02380
02380
02380
02380
02380
02380
02380
02380
02380
02380
02370
02370
02380
02370
02359
02359
02359
02359
02359
02359
02359
02359
02359
02359
02359
02359
02359
02359
02349
02349
02349
02349
02349
02339
02339
02339
02339
02339
02339
02339
02339
02339
02339
02339
02339
02339

Ответы [ 6 ]

8 голосов
/ 24 декабря 2009

Вот мое решение, использующее фильтр Калмана . Вам нужно будет настроить параметры (даже + - на порядки), если вы хотите сгладить более или менее.

#!/usr/bin/env octave

% Kalman filter to smooth measures of altitude and estimate
% speed and acceleration. The continuous time model is more or less as follows:
% derivative of altitude := speed
% derivative of speed := acceleration
% acceleration is a Wiener process

%------------------------------------------------------------
% Discretization of the continuous-time linear system
% 
%   d  |x|   | 0 1 0 | |x|
%  --- |v| = | 0 0 1 | |v|   + "noise"
%   dt |a|   | 0 0 0 | |a|
%
%   y = [1 0 0] |x|     + "measurement noise"
%               |v|
%               |a|
%
st = 0.05;    % Sampling time
A = [1  st st^2/2;
     0  1  st    ;
     0  0  1];
C = [1 0 0];

%------------------------------------------------------------
% Fine-tune these parameters! (in particular qa and R)
% The acceleration follows a "random walk". The greater is the variance qa,
% the more "reactive" the system is expected to be, i.e.
% the more the acceleration is expected to vary
% The greater is R, the more noisy is your measurement instrument
% (less "accuracy" of the barometric altimeter);
% if you increase R, you will smooth the estimate more
qx = 1.0;                      % Variance of model noise for position
qv = 1.0;                      % Variance of model noise for speed
qa = 50.0;                     % Variance of model noise for acceleration
Q  = diag([qx, qv, qa]);
R  = 100.0;                    % Variance of measurement noise
                               % (10^2, if 10ft is the standard deviation)

load data.txt  % Put your measures in this file

est_position     = zeros(length(data), 1);
est_speed        = zeros(length(data), 1);
est_acceleration = zeros(length(data), 1);

%------------------------------------------------------------
% Kalman filter
xhat = [0;0;0];     % Initial estimate
P    = zeros(3,3);  % Initial error variance
for i=1:length(data),
   y = data(i);
   xpred = A*xhat;                                    % Prediction
   Ppred = A*P*A' + Q;                                % Prediction error variance
   Lambdainv = 1/(C*Ppred*C' + R);
   xhat  = xpred + Ppred*C'*Lambdainv*(y - C*xpred);  % Update estimation
   P = Ppred - Ppred*C'*Lambdainv*C*Ppred;            % Update estimation error variance
   est_position(i)     = xhat(1);
   est_speed(i)        = xhat(2);
   est_acceleration(i) = xhat(3);
end

%------------------------------------------------------------
% Plot
figure(1);
hold on;
plot(data, 'k');               % Black: real data
plot(est_position, 'b');       % Blue:  estimated position
plot(est_speed, 'g');          % Green: estimated speed
plot(est_acceleration, 'r');   % Red:   estimated acceleration
pause
3 голосов
/ 24 декабря 2009

Вы можете попробовать запустить данные через фильтр нижних частот. Это сгладит высокочастотный шум. Может быть, простой FIR.

Кроме того, вы можете извлекать ваши основные события из необработанных данных, но использовать полиномиальное соответствие для данных о скорости и ускорении.

2 голосов
/ 25 декабря 2009

вы пытались выполнить в окне прокрутки среднее значение ваших значений? В основном вы выполняете окно, скажем, 10 значений (от 0 до 9), и вычисляете его среднее значение. Затем вы прокручиваете окно на одну точку (от 1 до 10) и пересчитываете. Это сгладит значения, оставляя количество точек относительно неизменным. Большие окна дают более гладкие данные за счет потери более высокочастотной информации.

Вы можете использовать медиану вместо среднего, если ваши данные содержат всплески выбросов.

Вы также можете попробовать с Автокорреляция .

1 голос
/ 25 декабря 2009

Я ничего не знаю о ракетах. Я составил твои точки, и они выглядят прекрасно.

Основываясь на том, что я вижу на этом графике, позвольте мне предположить, что обычно существует один апогей и что функция, которая дала начало вашим точкам, не имеет производной по времени в этом апогее.

Предложение:

  1. Контроль максимальной высоты на протяжении полета.
  2. Постоянно следите за апогеем (скажем, просто), сравнивая несколько последних точек с текущим максимумом.
  3. Пока вы не достигнете максимума, с фиксированным (0,0) и некоторым произвольным набором узлов рассчитайте совокупность естественных сплайнов до текущей высоты. Используйте остатки относительно сплайнов, чтобы решить, какие данные отбрасывать. Пересчитать сплайны.
  4. При максимальном сохранении самые последние расчетные сплайны. Начните вычислять новый набор сплайнов для кривой за апогеем.
1 голос
/ 24 декабря 2009

Один из подходов к анализу ваших данных - попытаться сопоставить их с некоторой моделью, сгенерировать функцию, а затем проверить ее соответствие вашему набору данных .... Это может быть довольно сложно и вероятно, в этом нет необходимости ... но дело в том, что вместо генерации данных ускорения / скорости непосредственно из ваших данных вы можете сопоставить их с вашей моделью (довольно просто для ракеты, некоторое ускорение вверх сопровождается медленным спуском с постоянной скоростью) вот как бы я сделал это в физическом эксперименте.

Что касается генерации некоторого ощущения скорости и ускорения во время полета, это должно быть простым усреднением скорости по нескольким различным результатам. Что-то вроде: EsitimatedV = Vmeasured * (1 / n) + (1 - 1 / n) * ОцененныйV. Установите n в зависимости от того, насколько быстро вы хотите настроить скорость.

0 голосов
/ 25 декабря 2009

модель ARIMA и поиск автокорреляции в остатке является стандартной процедурой. Волатильность модели другая.

...