У меня есть несколько ссылок в файле, я использую запросы, чтобы проверить каждую ссылку в файле и распечатать те, которые активны / активны, но, кажется, проверяет и распечатывает ссылки несколько раз.Я также использую многопроцессорную обработку, чтобы сделать это быстрее.
def connect(domainlist):
try:
ua = UserAgent()
header = {'User-Agent':str(ua.chrome)}
response = requests.get(lists, headers=header, verify=True)
if response.status_code == 200:
print (Fore.GREEN + lists)
else:
pass
except requests.exceptions.MissingSchema:
print (Fore.GREEN + "Please use: site.com")
except requests.exceptions.ConnectionError:
print (Fore.RED + "name or service not known")
def domainlist():
global domainlist
try:
with open(domains, 'r') as f:
domainlist = f.readlines()
except IOError:
print(Fore.RED + "FIle not found")
global lists
for lists in domainlist:
lists = lists.strip()
pool = Pool(50)
for _ in pool.imap(connect, lists):
pass
вывод:
yahoo.com
yahoo.com
yahoo.com
msn.com
msn.com
msn.com
и так далее ...
Я хочу, чтобы код простопроверьте и распечатайте ссылки один раз, а не несколько раз.