Как определить новую переменную типа set и сохранить в ней текстовый список слов?

Question

** код **

lines_en = codecs.open(r'C:\Qur’an\english.txt','r','utf-8-sig').readlines()
for line in lines_en:
    tokens = line.split()
all_tokens =[]
for line in lines_en :
    tokens = line.split()
    all_tokens.append(tokens)

ошибка здесь

set(all_tokens)

Файл "", строка 1, в отсортированном (set (all_tokens)) TypeError: не подлежащий обработке тип: 'список'

Answer 1

    tokens = line.split()
    all_tokens.append(tokens)

токены - это список.

all_tokens - список списков.

Полагаю, вам нужно объединить все токены в all_tokens, поэтому добавьте в all_tokens токены

    tokens = line.split()
    all_tokens.extend(tokens)