Мне удалось очистить спортивный сайт с помощью python & bs4 и создать набор данных со всеми совпадениями. Лига продолжается, поэтому каждый день появляются новые матчи. Я все еще новичок, поэтому я не уверен, как решить некоторые проблемы, с которыми я сталкиваюсь. Я хочу использовать историю матчей, чтобы поэкспериментировать с моделью прогнозирования, но я не уверен, как обращаться с потоком данных.
Пока у меня просто есть CSV, и скажем, у набора данных есть дата, победитель, проигравший, winner_elo, loser_elo среди других. Я думаю, что я хочу сделать:
a) Создать базу данных с существующим набором данных (??) (Любое направление приветствуется, как приблизиться к нему)
b) Очистить новое совпадения (у меня есть скрипт для этого)
c) Добавить новые совпадения в базу данных (??)
d) Создать новую "таблицу" (?) с именем игрока, дата последнего матча, победы, поражения, elo и некоторые другие характеристики игрока c stats. Я не уверен, как подойти к этому, чтобы я мог получить самую последнюю запись из моего набора данных / базы данных, чтобы у каждого игрока была своя статистика.
e) В будущем я хочу, чтобы все было на веб-сайт, который я сделаю, и весь процесс будет автоматизирован, т. е. выполняйте очистку один раз в день или более, обновляйте все, делайте некоторые расчеты и затем, чтобы иметь возможность показывать результаты на моем сайте.
Как я уже сказал Я новичок, и я не прошу конкретный c код или что-то подобное. Больше похоже на то, как подойти к этому или как кто-то более опытный будет иметь дело с этим. Любое направление ценится