Как пропустить повторяющиеся строки в текстовых файлах? - PullRequest
Новая
       119

Как пропустить повторяющиеся строки в текстовых файлах?

1 голос
/ 13 июля 2020

Я собираю данные со страницы веб-сайта, после этого я выполняю фильтрацию имен, которая будет сохранена одновременно в качестве ввода в текстовом файле с помощью команды: 

   with open( 'Peoples.txt' , 'w' ) as archive :
       archive.write( x )
       archive.write('\n')
       archive.close()

Входные данные записываются одновременно из переменная «X». По мере поступления данных они будут повторяться, оставаясь неизменными. 

  Isabela Novark
  Isabela Novark
  Isabela Novark
  Julian Ferrer
  Angelic Bertford

Короче: как мне продолжить получать данные в текстовом формате без этих повторов?

1 Ответ

1 голос
/ 13 июля 2020

Если вы хотите использовать чистое решение Python, вы можете использовать набор для хранения уже увиденных имен.

Например: 

names = ['Isabela Novark',
  'Isabela Novark',
  'Isabela Novark',
  'Julian Ferrer',
  'Angelic Bertford']

seen = set()

with open('Peoples.txt', 'w') as archive:
    for x in names:
        if x in seen:
            continue
        seen.add(x)
        print(x, file=archive)

Будет создано Peoples.txt с содержимым: 

Isabela Novark
Julian Ferrer
Angelic Bertford
...