Печать содержимого URL-адресов в текстовом файле, из текстового файла, который содержит список URL-адресов в Python - PullRequest
Новая
       61

Печать содержимого URL-адресов в текстовом файле, из текстового файла, который содержит список URL-адресов в Python

0 голосов
/ 15 октября 2018

У меня есть текстовый файл, который содержит список URL-адресов, и я готов распечатать содержимое URL-адреса в другом текстовом файле вместе с URL-адресом в качестве заголовка.Я использовал этот файл проекта https://pypi.org/project/Wikipedia-API/ для извлечения контента, но мне пришлось бы вводить ссылку одну за другой, в которую я не хочу углубляться, так как мой список огромен, по крайней мере, 3000 ссылок натекстовый файл.

Может кто-нибудь помочь мне с этим, это будет высоко ценится.

РЕДАКТИРОВАТЬ:

Я пробовал это следующим образом, но в выходном текстовом файле нет содержимого.

import urllib
import datetime as dt
from datetime import datetime

import time

linklist = []
with open ("test.txt", 'r', encoding = 'utf=8') as wikitxt :
         #content = wikitxt.read().splitlines()
         for i in wikitxt:
                  linklist.append (i)

output = open('Wikipedia_content.txt', 'w', encoding='utf-8')

startTime = time.time()
endTime = time.time()
runTime = endTime - startTime
print("Runtime is %3f seconds" % runTime)

Вот текстовый файл, который я использовал https://pastebin.com/Y4bwsHGB, и это текстовый файл, который мне нужно использовать: https://pastebin.com/SXDAu8jV.

Спасибозаблаговременно.

ПРОБЛЕМА: 

Traceback (most recent call last):


 File "C:/Users/suva_/Desktop/Project specification/data/test2.py", line 13, in <module>
    output_file.write((urlopen(link).read()))
  File "D:\Python 36\lib\urllib\request.py", line 228, in urlopen
    return opener.open(url, data, timeout)
  File "D:\Python 36\lib\urllib\request.py", line 531, in open
    response = self._open(req, data)
  File "D:\Python 36\lib\urllib\request.py", line 554, in _open
    'unknown_open', req)
  File "D:\Python 36\lib\urllib\request.py", line 509, in _call_chain
    result = func(*args)
  File "D:\Python 36\lib\urllib\request.py", line 1389, in unknown_open
    raise URLError('unknown url type: %s' % type)
urllib.error.URLError: <urlopen error unknown url type: https>

ФИНАЛЬНОЕ ИСПРАВЛЕНИЕ: 

import urllib
import datetime as dt
from datetime import datetime
import requests
import time
import re
import html2text

startTime = time.time()
def text_opener():
    linklist=[]
    with open ("test.txt", 'r', encoding = 'utf=8') as wikitxt :

         #content = wikitxt.read().splitlines()
        for i in wikitxt:
            try:
                linklist.append(i.strip())
            except UnicodeEncodeError as enror:
                linklist.append  ("")

    return linklist

linklist = text_opener() # put the content in a list and then opened the text

'''
This is a string of characters which I wanted to remove from the URL content

rejectedChar = list('!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~0123456789')
rejectedChar.append("\t")
special="\t" 
regexWords = r"[\w']+"

'''


'''STOPWORDS LIST WHICH CONTAINS A BUNCH OF WORDS WHICH I DON"T NEED TO BE PRINTED--- ONLY FOR LARGE FILES
#stopwords = []
#with open('stopwords.txt', 'r', encoding='utf-8') as inFile:
 #   for i in inFile:
  #      stopwords.append(i.strip())
'''
content = ""
count = 0

for i in linklist:
    print(count,"   ",i.encode('utf-8'))
    count+=1
    try:
        f = urllib.request.urlopen(i).read()
        content+=str(f)
    except Exception as e:
        continue
#print((linklist[0:4000]).encode('utf-8'))

#combinedstops= rejectedChar+stopwords # combining them together

#for item in combinedstops:
    #content=content.replace(item,"") # now this items are removed from the 
#content

def output_file (content):
    with open('June_wikipedia_content.txt', 'w', encoding = 'utf-8') as output:
              output.write(str(content))

##    try:
##        output_file (content)
##    except UnicodeEncodeError as enror:
##        print ("Got lost in the game")
#sky=open("sky.txt",'w')
#sky.write(str(content))
output_file (content)

#print("hahahahahaha",stopwords)

#for i in content:
  #       i = re.findall(regexWords, i)
    #     i = [i for i in i if i in stopwords]


startTime = time.time()
endTime = time.time()
runTime = endTime - startTime
print("Runtime is %3f seconds" % runTime)

1 Ответ

0 голосов
/ 15 октября 2018

Вы можете использовать следующую функцию, чтобы открыть текстовый файл и сохранить все ссылки в списке: 

with open('links.txt') as f:
    content = f.read().splitlines()

Переменная content представляет собой список, каждый элемент которого содержит строку, связанную с URL-адресом.,Это будет работать только в том случае, если ваш links.txt имеет упорядоченный URL-адрес, т.е.1009 *

Если вам нужен более подробный ответ, я предлагаю опубликовать пример текстового файла с ссылками.

РЕДАКТИРОВАТЬ:

Это работает, но выдает все данные в файл.Данные не отформатированы правильно.Это то, что вам нужно? 

from urllib.request import urlopen
with open('links.txt') as f:
    content = f.read().splitlines()

with open('Wikipedia_content.txt', 'w') as output_file:
for link in content :
    output_file.write(link)
    output_file.write((urlopen(link).read()))
...