Каждый документ отделяется переводом строки.Контекстные окна случайностей ограничены каждым документом.
На основе реализации здесь .
Новая строка берется как указание нового документа (контексты не пересекаются с новой строкой).
Таким образом, в зависимости от того, как вы готовите предложения, вы можете получить разные результаты:
Настройка 1: ('He', 'person') в смешанном режиме
...
I am a person. He also likes apples.
...
Настройка 2: ('He', 'person') не в сочетании
...
I am a person.
He also likes apples.
...