низкая точность мультиклассовой классификации по модели точной настройки Берта - PullRequest
Новая
       32

низкая точность мультиклассовой классификации по модели точной настройки Берта

0 голосов
/ 08 июня 2019

У меня есть набор данных о китайских продуктах, который содержит около пятидесяти тысяч предметов и 1240 классов. И я использую тридцать пять тысяч предметов для тонкой настройки BERT-BASE, китайской. Но я получаю очень низкую точность (точность 0,4%, global_step = 32728) для набора данных. Я не знаю, где я иду не так. Не могли бы вы помочь мне?

Я изменил DataProcessor и создал процессор данных, 


class CustProcessor(DataProcessor):
  def get_train_examples(self, data_dir):
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")

  def get_dev_examples(self, data_dir):
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")

  def get_test_examples(self, data_dir):
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "test.tsv")), "test")

  def get_labels(self):
    # 这里返回的为具体的你的分类的类别
    return ['图书杂志--工业技术--一般工业技术', ...]

и я использую следующие гиперпараметры для обучения модели. 

export DATA_DIR=data
export BERT_BASE_DIR=vocab_file/chinese

python3 run_classifier.py --task_name=CUST
--do_train=true 
--do_eval=true 
--data_dir=$DATA_DIR/ 
--vocab_file=$BERT_BASE_DIR/vocab.txt 
--bert_config_file=$BERT_BASE_DIR/bert_config.json 
--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt 
--max_seq_length=128 
--train_batch_size=32 
--learning_rate=2e-5 
--num_train_epochs=3.0 
--output_dir=output/

Это файл конфигурации bert, нужно ли его менять? 

{
  "attention_probs_dropout_prob": 0.1, 
  "directionality": "bidi", 
  "hidden_act": "gelu", 
  "hidden_dropout_prob": 0.1, 
  "hidden_size": 768, 
  "initializer_range": 0.02, 
  "intermediate_size": 3072, 
  "max_position_embeddings": 512, 
  "num_attention_heads": 12, 
  "num_hidden_layers": 12, 
  "pooler_fc_size": 768, 
  "pooler_num_attention_heads": 12, 
  "pooler_num_fc_layers": 3, 
  "pooler_size_per_head": 128, 
  "pooler_type": "first_token_transform", 
  "type_vocab_size": 2, 
  "vocab_size": 21128
}

Когда я использую другие модели, такие как SVM. Их точность составляет около 85%. Но точность для BERT слишком низкая.

...