У меня есть сценарий python, который собирает данные с нескольких веб-сайтов путем очистки. Мой веб-сайт (созданный с использованием django) показывает собранные данные пользователям в виде таблицы.
Сейчас я занимаюсь : ежедневно запускайте скрипт в Google Colab, загружайте Данные в формате CSV, удалить старые данные с веб-сайта, загрузить новые данные на нем (у меня есть страница для загрузки и обработки CSV для добавления данных в django базе данных).
Я хочу сделать что-то вроде этого : в скрипте Python вызовите URL-адрес: много запросов на мой сайт, и он может взломать sh. Есть ли лучший способ автоматически загружать данные? Может быть, добавить несколько строк одновременно?
Если скрипт непосредственно загружает данные на сайт, я могу настроить задание cron, чтобы весь процесс автоматизировался c, вместо того, чтобы ежедневно запускать скрипт, удалить старые записи из базы данных django и загрузите новый csv.