Инкрементальное обучение Гауссовскому процессу

Question

Я бы хотел больше понять гауссовскую регрессию процессов: я использую реализацию scikit-learn здесь и хочу уместить отдельные точки вместо того, чтобы уместить весь набор точек. Но результирующие альфа-коэффициенты должны оставаться такими же, например

gpr2 = GaussianProcessRegressor()
    for i in range(x.shape[0]):
        gpr2.fit(x[i], y[i])

должны совпадать с

gpr = GaussianProcessRegressor().fit(x, y)

Но при доступе к gpr2.alpha_ и gpr.alpha_ они не совпадают. Почему это так?

Действительно, я работаю над проектом, в котором возникают новые точки данных. Я не хочу добавлять массивы x, y и снова помещать их на весь набор данных, так как это очень интенсивно по времени. Пусть x будет размером n, тогда у меня будет:

n + (n-1) + (n-2) + ... + 1 € O (n ^ 2) фитингов

если учесть, что сама подгонка является квадратичной c (поправьте меня, если я ошибаюсь), сложность времени выполнения должна быть в O (n ^ 3). Было бы более оптимальным, если бы я сделал одну подгонку по n точкам:

1 + 1 + ... + 1 = n € O (n)

Answer 1

То, на что вы ссылаетесь, на самом деле называется онлайн-обучение или инкрементальное обучение ; само по себе это огромное подразделение в машинном обучении, и оно не доступно для всех моделей scikit-learn. Цитирование из соответствующей документации :

Хотя не все алгоритмы могут обучаться пошагово (т. Е. Не видя сразу все экземпляры), все оценщики, реализующие API partial_fit, являются кандидатами. На самом деле, способность учиться постепенно из мини-пакета экземпляров (иногда называемого «онлайн-обучением») является ключом к неосновному обучению, поскольку оно гарантирует, что в любой момент времени в обучении будет только небольшое количество экземпляров. основная память.

После этой выдержки в связанном документе выше приведен полный список всех моделей scikit-learn, в настоящее время поддерживающих пошаговое обучение, откуда видно, что GaussianProcessRegressor равно не один из них.