Если ваш файл не такой большой, вы можете просто сделать что-то вроде этого:
added = set()
def add_line(line):
if line not in added:
f = open('myfile.txt', 'a')
f.write(line + '\n')
added.add(line)
f.close()
Но это не очень хорошая идея, если вам нужно беспокоиться о параллелизме, поскольку большие объемы данныххранится в файле, или в основном что-либо, кроме чего-то быстрого и одноразового.