Вы создаете новый экземпляр tokens
каждый раз, когда l oop запускается в нижней части, поэтому он перезаписывает
for line in request.urlopen(url):
tokens = tokenizer.tokenize(line.decode('utf-8'))
, поэтому лучше добавлять токены в список
from urllib import request
from redditscore.tokenizer import CrazyTokenizer
tokenizer = CrazyTokenizer()
url = "http://www.site.uottawa.ca/~diana/csi5386/A1_2020/microblog2011.txt"
tokens = []
for line in request.urlopen(url):
tokens.extend(tokenizer.tokenize(line.decode('utf-8')))
#print(tokens)
with open('your_file.txt', 'a') as f:
print(tokens)
for item in tokens:
f.write("%s\n" % item)