Представлять данные как Фурье-преобразование или полином с высокой степенью?

Question

Я имею дело с кривыми блеска звезд (файлы .fits, содержащие 4000 точек времени и яркость звезд, см. Рисунок для нескольких примеров с различной периодичностью). Мне нужно представить / подогнать эти световые кривые таким образом, чтобы я мог выполнять на них кластеризацию без контроля с помощью машинного обучения. Мне предложили использовать либо полиномиальное представление с высокой степенью (p = 30 ... до нескольких сотен), либо использовать преобразование Фурье на световых кривых. Я обнаружил, что полиномиальные совпадения numpy.polyfit с высокой степенью p не дают хороших совпадений, и я получаю предупреждение «Ранжирование: Полифит может быть плохо обусловлен». Возможно, мне стоит попробовать преобразование Фурье, но я не знаком, и это звучит сложно.

Как я могу / должен представлять / подгонять такие данные для кластеризации машинного обучения? Можно ли добиться хорошего результата с помощью np.polyfit с p> 30?

Answer 1

Для вещей с четким «сезонным» повторяющимся циклом преобразование Фурье кажется гораздо более адекватным.

Только представьте, что вы получаете больше данных. Вы бы хотели, чтобы представление было стабильным и несколько предсказывающим этот очевидный временной шаблон. Многочлен не делает это хорошо, ему, вероятно, понадобятся новые термины все время.

Но, конечно, есть и другие альтернативы: DCT, вейвлеты и т. Д. - есть целые книги по обработке таких данных.