, поэтому моя проблема в том, что когда я вывожу / экспортирую данные с очищенных веб-сайтов в json файл scrapy crawl_something -o final.json, иногда (гораздо чаще, чем хотелось бы) он создает 2 или более списков, поэтому при импорте файла json где-то возникает ошибка в том, что файл поврежден.
пример:
[{website1},{website2},{website3},{website4},{website5}][{website6},{website7},{website8},{website9},{website10}]
Я предполагаю, что он создает новый список, когда возникает непредвиденная ошибка при разборе какого-либо веб-сайта, но я не могу проверить это, потому что там это не какой-либо файл журнала и слишком много строк, чтобы терминал мог вывести их все
Кто-нибудь знает, как это исправить? спасибо