Я собираю некоторые данные, и я хотел автоматизировать некоторые вещи.В настоящий момент мой скребок создает файлы JSON (по одному на каждую страницу, которую я очищаю), которую я очищаю и собираю в CSV, который затем анализирую.Я пытаюсь очистить данные в формате JSON, не сохраняя их в файл JSON.
В данный момент я пишу файл JSON, затем использую pd.read_json, а затем очищаю и преобразовываю его.То, что я надеялся сделать, это вызвать скребки и заставить их вернуть содержимое файла JSON, а не писать файл JSON, а затем загрузить файл JSON.
текущий код выглядит примерно так:
scrape ...
with open('%s-%s-df1.json'%(arg1, arg2), 'w) as fp:
json.dump(df1, fp, indent = 4)
Я надеюсь достичь прямой манипуляции с df1 без выполнения вышеуказанного.Причина, по которой мне нужно сделать вышеизложенное в данный момент, заключается в том, что pd.read_json преобразует файл JSON во фрейм данных Pandas.Как преобразовать данные в формате JSON, не экспортируя в файл json, а затем импортируя с помощью pd.read_json?