Вопрос, задающий конвейер для трансформаторов Huggingface

Question

У трансформеров Huggingface есть конвейер для настройки ответов на вопросы в наборе данных Squad.

Что мне нужно сделать, чтобы разработать конвейер для конвейера вопросов? Это будет использовать контекст, вопрос и ответ для генерации вопросов с ответами из контекста. Есть ли примеры для создания новых конвейеров Hunggingface?

Answer 1

Трубопроводы можно просто рассматривать как обертку вокруг предварительно обученных моделей. В этом случае вы можете выполнить тонкую настройку / предварительную подготовку таким же образом, как и существующие примеры сценариев, такие как run_squad. Конечно, вы можете

Пример загрузки пользовательских моделей контрольных точек приведен на веб-сайте HuggingFace (слегка изменен здесь):

from transformers import pipeline

# Question answering pipeline, specifying the checkpoint identifier
pipeline('question-answering', model='distilbert-base-cased-distilled-squad', tokenizer='bert-base-cased')

Если ваш конвейер отличается от существующих опций до точки, где вам действительно нужно реализовать новый класс конвейера, тогда я бы предложил взглянуть на соответствующую реализацию . В частности, большинство моделей не делают ничего больше, чем аккуратно оборачивают шаг токенизации на предварительно обученных моделях и вызывают правильные параметры в функции model.forward. Это, вероятно, такой же краткий пример, как вы можете найти в настоящее время (версия 2.8), поскольку эта функция все еще относительно нова.

Я надеюсь, что все указатели помогли вам начать работу!