значение in_qsize и out_qsize в файлах журнала gensim word2ve c - PullRequest
Новая
       15

значение in_qsize и out_qsize в файлах журнала gensim word2ve c

0 голосов
/ 18 апреля 2020

Я использую модели word2ve c в gensim. Я не понимаю 2 метрики (in_qsize / out_qsize), сообщаемых файлом журнала. Я потратил немного времени на поиски и не могу найти объяснения. Вот пример из моих файлов журнала: 

2020-04-17 21:04:09,032 : INFO : EPOCH 5 - PROGRESS: at 68.67% examples, 657466 words/s, in_qsize 18, out_qsize 1
2020-04-17 21:04:10,038 : INFO : EPOCH 5 - PROGRESS: at 68.92% examples, 657527 words/s, in_qsize 20, out_qsize 0
2020-04-17 21:04:11,078 : INFO : EPOCH 5 - PROGRESS: at 69.14% examples, 657513 words/s, in_qsize 20, out_qsize 1
2020-04-17 21:04:12,136 : INFO : EPOCH 5 - PROGRESS: at 69.39% examples, 657458 words/s, in_qsize 18, out_qsize 1
2020-04-17 21:04:13,139 : INFO : EPOCH 5 - PROGRESS: at 69.68% examples, 657687 words/s, in_qsize 17, out_qsize 4

1 Ответ

0 голосов
/ 18 апреля 2020

in_qsize и out_qsize - это длины двух внутренних очередей, используемых кодом для отправки работы в рабочие потоки и получения результатов.

Их имена в исходном коде job_queue и progress_queue, но вы также можете найти это и многое другое о них, ища в исходном коде строки, которые печатают in_qsize и out_qsize.

В целом, они являются достаточно внутренней деталью. что большинству пользователей не нужно заботиться о своих ценностях - если только не будут устранены некоторые нетипичные проблемы с производительностью. В некоторых случаях это может добавить немного больше понимания того, как различные варианты подготовки корпуса, значения workers или другие параметры влияют на производительность. Но в целом такая оптимизация может просто включать в себя множество различных значений, чтобы увидеть, какая из них на практике достигает наилучшей пропускной способности, без учета этих размеров внутренней очереди.

...