Json список в pandas фрейме данных из нескольких json файлов - PullRequest
Новая
       9

Json список в pandas фрейме данных из нескольких json файлов

0 голосов
/ 29 апреля 2020

Я отправил несколько твитов (каждый день) через прослушиватель твитов и сохранил их как объект json в отдельных файлах json. Теперь я хочу загрузить их в один большой список JSON, а затем в один большой массив данных panda. И возможно ли, если все файлы json содержат разные атрибуты? Мои данные:

Json объект из json файла {"text": "RT @ ElliottBlackwe3: изоляции и этого вируса недостаточно, я должен сидеть здесь, в своем коттедже, в полной тишине , пошив stingin \ u2026 "," place ": null}

a Json объект из другого json file {" date ":" Ср 29 апреля 11:38:55 +0000 2020 "," text ":" RT @GraysonDolan: 2014 год, я в своем подвале в Нью-Джерси, где E пытается придумать новые идеи виноградной лозы. Думая о запуске youtube ch \ u2026 "," place ": null}

Я могу загрузить файлы json в один большой список, но не могу создать фрейм данных 

# Import Tweet Json data
base = '../tweets/'
data_list = []
for file in os.listdir(base):
    #If file is a json, construct it's full path and open it, append all json data to list
    if 'json' in file:
        json_path = os.path.join(base, file)
        json_data = pd.read_json(json_path, lines=True)
        data_list.append(json_data)

Заранее спасибо

...