Я работаю над приложением React для визуализации данных, размещенным на страницах Github, которое извлекает данные из общедоступного репозитория github, которым я не владею.Мне нужно найти оптимальное решение о том, как извлекать данные.
Он состоит из ~ 3 КБ текстовых файлов, размером несколько КБ, все в одной папке.Имена файлов соответствуют их идентификаторам, которые не идеальны для поиска по имени, поэтому мой первый подход - запрашивать их все, когда кто-то открывает страницу.Это решение оказалось довольно медленным, и я также вынужден отправлять много запросов на несуществующие файлы, так как я не могу получить полное содержимое папки из github api (1k max), только последний идентификатор, который я затем возвращаю из0.
Я попытался запустить запросы параллельно, что каждый раз приводило к падению страницы.Затем я попытался отправить им серийный номер, который занял слишком много времени, но работал нормально.Я также попытался отправить поочередно в группах по 5 параллельных задач, но я пока не получил корректную работу кода, но я предполагаю, что это должно немного помочь.
Можете ли вы предложить другие, более лучшие варианты?В идеале я мог бы хранить некоторые локальные данные о привязке имени к идентификатору, что позволило бы мне не загружать все файлы, только те, которые пользователь ищет в приложении.Проблема заключается в том, что локальные данные могут устареть при обновлении указанного репозитория.Поскольку он размещен на страницах GitHub, возможно, я мог бы каким-то образом автоматически извлечь данные из этого репо и обработать изменения в моих локальных файлах в моем репозитории, но я не знаю, как это было бы возможно.