Формальное утверждение теоремы универсального приближения гласит, что
нейронные сети с одним скрытым слоем могут аппроксимировать любую функцию
который непрерывен на m-мерном единичном гиперкубе. Но как насчет
функции, которые не являются непрерывными, что-нибудь известно о том,
они всегда могут быть аппроксимированы нейронными сетями?
Да, большинство не непрерывных функций могут быть аппроксимированы нейронными сетями. Фактически, функция должна быть измеримой только потому, что по теореме Лусина любая измеримая функция непрерывна почти во всей своей области. Этого достаточно для теоремы об универсальном приближении.
Заметим, однако, что в теореме говорится только, что функция может быть представлена нейронной сетью. Здесь не сказано, можно ли изучить это представление или что оно будет эффективным. Фактически, для однослойной сети, аппроксимирующей сильно меняющуюся функцию, размер растет экспоненциально с увеличением сложности функции.
Например, возьмем функцию, которая вычисляет n-ю цифру числа pi.
Если я обучу какую-то одну скрытую слой нейронной сети на этих данных: (n, n'th
цифра пи), сможет ли он в конечном итоге вернуть правильные значения для
невидимый н? Как насчет нескольких скрытых слоев нейронных сетей?
Нет. Существует бесконечное количество функций, возвращающих любую последовательность цифр из π. Сеть никогда не узнает, кого вы хотите этому научить. Нейронные сети обобщаются, используя гладкость функции, но последовательность, которую вы хотите изучить, совсем не гладкая.
Другими словами, вам нужно точное представление. Аппроксимация бесполезна для предсказания цифр π. Теорема об универсальной аппроксимации гарантирует только существование аппроксимации.