Я пытаюсь токенизировать текстовый файл. Я создал список строк, найденных в текстовом файле, используя readlines (), и планирую перебирать каждое предложение в этом списке, чтобы разбить каждое предложение с помощью re.split (). Затем я планирую просмотреть список, чтобы добавить каждое слово в словарь, чтобы подсчитать, сколько раз встречается каждое слово. Приведет ли эта реализация вложенного списка к O (N ^ 2) или O (N)? Спасибо.
Этот код является лишь примером того, как я планирую реализовать его.
for sentence in list:
result = re.split(sentence)
for word in result:
dictionary[word] += 1