В настоящее время я читаю статью: НЕПРАВИЛЬНОЕ УВЕЛИЧЕНИЕ ДАННЫХ ДЛЯ ПОДГОТОВКИ ПОСЛЕДОВАТЕЛЬНОСТИ , выполненное Google и CMU в прошлом году. Я думаю, что метод использования дополнения данных для немаркированных данных и добавления потери согласованности для устойчивости интересен. Например, на рисунке показано, что окончательная потеря состоит из обычной контролируемой потери и части неконтролируемой потери. Авторы сделали дополнения для немеченых данных, и если модель дает разные прогнозы для немеченых данных и их дополнения, то разница (расстояние KL в статье) будет потерей согласованности для модели. ![enter image description here](https://i.stack.imgur.com/PlMDz.png)
Я хотел бы попробовать этот метод на некоторых из моих предыдущих моделей, написанных на языке Керас. И я только нашел некоторую реализацию этого метода в Tensorflow и PyTorch. Интересно, возможно ли реализовать эту структуру также в Керасе? Так как у меня есть только опыт создания контролируемой обучающей части в Keras, кто-нибудь может дать некоторые идеи о том, как выполнить неконтролируемую часть потери согласованности в Keras?
Спасибо !!