Тензорные сети

Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [8.3, 8.4, 8.5, 8.6, 8.7].

Тензорным произведением

$Тензорные сети$

-мерных векторов

$Тензорные сети$

называется

$Тензорные сети$

-индексная величина

$Тензорные сети$

у которой все индексы независимо пробегают весь набор значений от единицы до

$Тензорные сети$

-ой тензорной степенью вектора

$Тензорные сети$

будем называть вектор

$Тензорные сети$

полученный как тензорное произведение

$Тензорные сети$

векторов

$Тензорные сети$

Вектор

$Тензорные сети$

является

$Тензорные сети$

-мерным вектором. Однако пространство

$Тензорные сети$

имеет размерность, не превышающую величину

$Тензорные сети$

где

$Тензорные сети$

- число сочетаний из

$Тензорные сети$

по

$Тензорные сети$

Теорема. При k < n в ранг

$Тензорные сети$

множества

$Тензорные сети$

равен:

$Тензорные сети$

Рис. 8.2. "Тензорный" треугольник Паскаля

Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 8.2 приведен "тензорный" треугольник Паскаля. При его построении использованы следующие правила:

Первая строка содержит двойку, поскольку при n=2 в множестве X всего два неколлинеарных вектора.
При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй - как сумма первого и второго элементов предыдущей строки, третий - как сумма второго и третьего элементов и т.д. Последний элемент получается удвоением последнего элемента предыдущей строки.

Таблица 8.1.

nknkCk - 1n + k - 1rn,k

5	2	25	15	11
	3	125	35	15
10	3	1 000	220	130
	6	1 000 000	5005	466
	8	100 000 000	24310	511

В таблица 8.1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка -

$Тензорные сети$

- заведомо завышена, вторая -

$Тензорные сети$

- дается формулой Эйлера для размерности пространства симметричных тензоров и третья - точное значение

$Тензорные сети$

Как легко видеть из таблицы таблица 8.1, уточнение при переходе к оценке

$Тензорные сети$

является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.

Легко показать, что если множество векторов

$Тензорные сети$

не содержит взаимно обратных, то размерность пространства

$Тензорные сети$

равна числу векторов в множестве

$Тензорные сети$

Сеть (2) для случая тензорных сетей имеет вид

$Тензорные сети$

(9)

а ортогональная тензорная сеть

$Тензорные сети$

(10)

где

$Тензорные сети$

- элемент матрицы

$Тензорные сети$

Сеть (9) хорошо работает на слабо скоррелированных эталонах, а сеть (10) не чувствительна к степени скоррелированности эталонов.

Содержание раздела

Главная сайта