Объединение нескольких файлов .txt в Google Colab

Question

У меня есть около 500 .txt файлов в моей локальной системе, и я хотел бы объединить их в фрейм данных в Google Colab. Я уже загрузил их через опцию выгрузки, куда я загрузил заархивированную папку, содержащую файлы .txt, а затем разархивировал их в Google Colab. Каждый файл .txt имеет одну строку данных, например. 0 12 34,3 423

Я попытался следующий код для прямой загрузки из моей локальной системы, но он не работал

Answer 1

Colab не может получить доступ к вашим локальным файлам через обычные встроенные модули, насколько я знаю. Вы должны использовать модули Colab-Speci c. Руководство здесь .

from google.colab import files

uploaded = files.upload()

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))

Это предложит вам выбрать файлы для загрузки.

РЕДАКТИРОВАТЬ: Поскольку вам нужны имена файлов, вы можете просто использовать l oop выше и затем объединять по мере необходимости упоминается правильно.

# create a list of file names
file = []
for fn in uploaded.keys():
    files.append(fn)

# create a list of dataframes
for file in files:
        new = pd.read_csv(file)
        try:
            frames.append(new)
        except: 
            frames = [new] 

# concat all of your frames at once
df = pd.concat(frames)

В качестве альтернативы, в зависимости от размера ваших файлов, вы также можете присоединиться к циклам for и загрузить один файл и связать его непосредственно с существующими кадрами, чтобы в памяти было меньше данных. сразу.