Теория компьютерного обучения на основе PAC-обучения - PullRequest
0 голосов
/ 28 июня 2011

Рассмотрим алгоритм машинного обучения, который обучается из обучающего набора. С помощью модели обучения PAC мы получаем ограничения на необходимый размер обучающей выборки, поэтому вероятность того, что ошибка ограничена (эпсилоном), ограничена (дельтой).

Что говорит модель обучения PAC о вычислительной (временной) сложности.Предположим, что алгоритму обучения дается больше времени (например, больше итераций), как изменяется ошибка и вероятность того, что ошибка ограничена

Поскольку алгоритм обучения, для обучения которого требуется один час, не имеет практического применения в задачах финансового прогнозирования.Мне нужно, чтобы производительность изменялась по мере того, как время, отводимое алгоритму, изменяется как с точки зрения границ ошибок, так и какова вероятность того, что ошибка ограничена

1 Ответ

2 голосов
/ 30 июня 2011

Модель PAC просто сообщает вам, сколько фрагментов данных вам нужно, чтобы получить определенный уровень ошибки с некоторой вероятностью.Это можно преобразовать в влияние на время выполнения, посмотрев на используемый вами алгоритм машинного обучения.

Например, если ваш алгоритм выполняется за время O (2 ^ n), а модель PAC говорит, что вывам нужно 1000 примеров, чтобы иметь 95% -ную вероятность ошибки 0,05, и 10000 примеров ошибки .005, тогда вы знаете, что следует ожидать ОГРОМНОГО замедления для повышения точности.Принимая во внимание, что та же самая информация PAC для алгоритма O (log n), вероятно, заставит вас пойти дальше и получить меньшую ошибку.

Кстати, вы можете быть озадачены тем, как большинство контролируемых алгоритмов обученияработа:

Предположим, что алгоритму обучения дается больше времени (например, больше итераций), как изменяется ошибка и вероятность того, что ошибка ограничена

В большинстве случаев вы не можетена самом деле просто дайте тому же алгоритму больше времени и ожидайте лучших результатов, если только вы не измените параметры (например, скорость обучения) или не увеличите количество примеров.Возможно, под «итерациями» вы подразумевали примеры, и в этом случае влияние числа примеров на вероятность и частоту ошибок можно найти, манипулируя системой уравнений, используемой для модели обучения PAC;см. вики статья .

...