Я хочу прочитать 50 файлов CSV из папки. В каждом csv есть ссылки, которые я хочу открывать по одной и получать данные - PullRequest
Новая
       2

Я хочу прочитать 50 файлов CSV из папки. В каждом csv есть ссылки, которые я хочу открывать по одной и получать данные

0 голосов
/ 16 июня 2020

Я хочу прочитать 50 CSV по одному из пути к папке. В CSV-файле есть несколько ссылок во всех из них, я хочу открыть ссылку одну за другой и получить данные в текстовый файл для каждой ссылки, новый текстовый файл должен быть создан.
Этот код работает (до печати (list_of_rows)) после этого он не выдает никакого вывода 

from bs4 import BeautifulSoup
import requests
#import csv
import pandas
import os
os.environ["PYTHONIOENCODING"] = "utf-8"

df_list = []
path = "C:/Users/bubai/Desktop/try/scrapy/output"

for file in os.listdir(path):
    #print(file)
    df_list.append(path + '/' + file)

for i in df_list:  
    df = pandas.read_csv(i,delimiter=',',usecols = [1], index_col=None, header = None) 
    #print(df)

    list_of_rows = [list(row) for row in df.values]
    # Print list of lists i.e. rows
    print(list_of_rows)

    for link in list_of_rows:
        print(link)
        r = requests.get(link)

        soup = BeautifulSoup(r.text, 'lxml')
...