Принудительный шаг проверки в необоснованно эффективном RNN - PullRequest
5 голосов
/ 12 марта 2019

Прочтение Поста Андрея Карпати за 2015 год "Необоснованная эффективность рекуррентных нейронных сетей" * есть раздел, где генерируется LaTeX-код:

Алгебраическая геометрия (латекс)

Приведенные выше результаты показывают, что модель на самом деле достаточно хороша для изучения сложных синтаксических структур.Под впечатлением от этих результатов мы с моим лаборантом (Джастином Джонсоном) решили продвинуться еще дальше в структурированные территории и взялись за эту книгу по алгебраическим стекам / геометрии.Мы загрузили необработанный исходный файл Latex (файл размером 16 МБ) и обучили многослойному LSTM. Удивительно, но полученный латекс сэмплирования почти компилируется. Нам пришлось вмешаться и исправить несколько проблем вручную, но затем вы получили правдоподобную математику, это удивительно:

( Выделение мое )

Какие методы можно использовать с современными сетями для / принудительного / что любой предложенный вывод / сделал / скомпилировать?

Вы бы просто запустили (медленный) процесс компиляции(yikes!) на любом выходе и применить крупный штрафной термин к чему-то, что потерпело неудачу?Небольшое наказание?

Мои вопросы:

  1. Есть ли в литературе общий термин для этого процесса?Я мог бы представить себе другие виды ограничений, которые пользователи могут захотеть добавить, но что-то вроде «общей проверки схемы» кажется сложным и не совсем ясным без эффективного изучения параллельной сети, которая блокирует все, что делает проверка схемы.

  2. Есть ли реализация Keras / Tensorflow, что такое (1)?

...