Я работаю над экстрактором настроений с помощью bert-base-uncased и получаю сообщение об ошибке. Я pip install tokenizers
и использую:
import tokenizers
import os
MAX_LEN = 128
TRAIN_BATCH_SIZE = 32
VALID_BATCH_SIZE = 16
EPOCHS = 10
BERT_PATH = "bert-base-uncased"
MODEL_PATH = "model.bin"
TRAINING_FILE = "../input/train.csv"
TOKENIZER = tokenizers.BertWordPieceTokenizer(
os.path.join(BERT_PATH, "vocab.txt"),
lowercase=True
)
Как использовать найти местоположение ваших моделей после установки в новой среде conda. спасибо.
Exception: Error while initializing WordPiece