Каков наилучший способ импортировать данные обновления высокой частоты в Python?

Question

Я пытаюсь импортировать некоторые данные из Интернета, где данные обновляются каждую 1 секунду.

Однако проблема заключается в том, что при попытке получить эти данные не все данные импортируются. Когда данные не обновляются, мой код работает хорошо. Но когда данные обновляются (с 8 до 12 часов), некоторые из них не импортируются должным образом.

Это таблица с 500 строками и 12 столбцами, где каждый столбец хранится в отдельной переменной. Ожидается, что переменные имеют одинаковую длину. Это верно, когда данные не обновляются, но когда я запускаю код с 8:00 до 12:00 (когда данные обновляются), переменные не имеют одинаковую длину. Любой совет или рекомендация будет принята с благодарностью.

Я использую селен, чтобы открыть веб-страницу и выполнить некоторые команды для чтения данных с Beautiful-Soup.

Answer 1

Поскольку кода нет и я не знаю веб-сайт, вот несколько общих соображений:

1. Как предположил Максим - Есть ли API, который вы могли бы использовать?
2. Вы можете угробить селен? Использование чего-то вроде запросов может быть быстрее и поможет вам правильно настроить время.
3. Загружается ли уже загруженный материал, когда вы пытаетесь его сохранить?
4. Поддерживает ли ваше интернет-соединениес количеством отправленных вами запросов?