Хранить данные с нескольких URL-адресов в python

Question

У меня есть 10 URL's, которые csv файл. Я хочу хранить данные из нескольких URL-адресов в списке в python. Все URL являются CSV-файлами в том же формате.

Я пытался:

url = request.GET.get('url')         #for first url

data = []
with closing(requests.get(url, stream=True)) as f:
   dfs = [pd.read_csv(filename) for filename in f]

Я могу извлечь данные, но как я могу получить данные с остальных URL и сохранить все из них в списке.

Answer 1

если csvs имеют одинаковое количество столбцов, создайте список строк для URL, затем l oop через:

url_lst = []
for u in urls:
   i = pd.read_csv(u)
   url_lst.append(i) 

Answer 2

Хотите объединить содержимое CSV в один файл? Вы можете изменить строку dfs следующим образом:

df = pd.concat([pd.read_excel(f) for f in all_files])

Если это не то, что вы хотите сделать, вы можете преобразовать данные в кадре данных DFS в массив со значениями df ['col']. затем преобразуйте это в list () и добавьте списки к данным, чтобы у вас был список списков. Если вам нужен только один список, вы можете сгладить список с помощью:

list(itertools.chain.from_iterable(data))