Универсальные аппроксимационные способности произвольной нелинейности и обобщенная теорема Стоуна

В этом разделе для множеств непрерывных функций, замкнутых относительно любой нелинейной операции (а не только для колец), доказана обобщенная аппроксимационная теорема Стоуна. Это интерпретируется как утверждение о универсальных аппроксимационных возможностях произвольной нелинейности: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с любой наперед заданной точностью.

Рассмотрим компактное пространство X и алгебру C(X) непрерывных функций на X с вещественными значениями.

Кроме аппроксимации функций многочленами и их обобщениями из колец функций, разделяющих точки, в последнее время все большее внимание уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными "устройствами" - нейронными сетями. Каждая сеть состоит из формальных нейронов. Нейрон получает на входе вектор сигналов x, вычисляет его скалярное произведение на вектор весов a и некоторую функцию одного переменного

. Результат рассылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

Доказан ряд теорем [1.8, 1.9, 1.10] об аппроксимации непрерывных функций многих переменных нейронными сетями с использованием практически произвольной непрерывной функции одного переменного. В данном разделе мы покажем, что эта функция действительно может быть произвольной и докажем обобщенную теорему Стоуна, естественным образом охватывающую и классическую теорему Стоуна, и аппроксимацию функций многих переменных суперпозициями и линейными комбинациями функций одного переменного.

Чтобы получить требуемое обобщение, перейдем от рассмотрения колец функций к изучению их алгебр, замкнутых относительно некоторой нелинейной унарной операции.

Пусть

- линейное пространство, C(R) - пространство непрерывных функций на действительной оси R,

- нелинейная функция и для любого

выполнено

.
В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство

замкнуто относительно нелинейной операции f(x)=x2 тогда и только тогда, когда E является кольцом.

Действительно,

поэтому для линейного пространства

замкнутость относительно унарной операции f(x)=x2 равносильна замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Пусть

- замкнутое линейное подпространство в C(X),

, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции f(x)=x2. Тогда E=C(X) .

Наше обобщение теоремы Стоуна состоит в замене f(x)=x2 на произвольную нелинейную непрерывную функцию.

Теорема 1. Пусть

- замкнутое линейное подпространство в C(X),

, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции

. Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких

, что

, то есть для любого

выполнено:

. Обозначим это множество PE. Оно обладает следующими свойствами:

PE - полугруппа относительно суперпозиции функций;
PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
и
.
PE включает хоть одну непрерывную нелинейную функцию.

Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.

В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство

поэтому для линейного пространства

- замкнутое линейное подпространство в C(X),

, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции

. Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких

, что

, то есть для любого

выполнено:

. Обозначим это множество PE. Оно обладает следующими свойствами:

PE - полугруппа относительно суперпозиции функций;
PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
и
.
PE включает хоть одну непрерывную нелинейную функцию.

Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.

Теорема 2. Пусть множество

удовлетворяет условиям 1-4. Тогда P=C(R).

Доказательство опирается на три леммы.

Лемма 1. В условиях теоремы 2 существует дважды непрерывно дифференцируемая функция

, не являющаяся линейной.

Доказательство. Пусть

, v(x)=0 при |x|>1,

. Рассмотрим оператор осреднения

Для любого ?>0 выполнено:

.

Действительно,

для каждого фиксированного y ((т.к. константы принадлежат E и E замкнуто относительно линейных операций и суперпозиции функций).

Интеграл

. принадлежит E, так как E является замкнутым линейным подпространством в C(R), а этот интеграл пределом конечных сумм.

Функция

принадлежит

так как

(напомним, что v – функция с компактным носителем).

Существует такое ?>0, что функция

не является линейной, поскольку

, пространство линейных функций замкнуто, а f не является линейной функцией. Таким образом, в предположениях леммы существует нелинейная функция

, которую можно выбрать в виде

Лемма 2. Пусть в условиях теоремы 2 существует дважды непрерывно дифференцируемая функция

, не являющаяся линейной. Тогда функция q(x)=x2 принадлежит P.

Доказательство. Существует точка x0, для которой

. Обозначим r(x)=2(g(x+x0)-g(x0)-xg'(x0))/g''(x0). Очевидно, что

. Поэтому

при

.

Поскольку P замкнуто, получаем: функция q(x)=x2принадлежит P.

Лемма 3. Пусть в условиях теоремы 2 функция q(x)=x2 принадлежит P. Тогда P является кольцом - для любых

их произведение

.

Доказательство. Действительно,

и, так как P замкнуто относительно суперпозиции и линейных операций, то

.

Доказательство теоремы 2 заканчивается обращением к классической теореме Вейерштрасса о приближении функций многочленами: из лемм 1-3 следует, что в условиях теоремы 2 P является кольцом и, в частности, содержит все многочлены (которые получаются из 1 и id с помощью умножения и линейных операций). По теореме Вейерштрасса отсюда следует, что P=C(R) .

Теоремы 1,2 можно трактовать как утверждения о универсальных аппроксимационных свойствах любой нелинейности: с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с любой наперед заданной точностью.

Содержание раздела