Обработка астрономически больших объемов данных? - PullRequest
0 голосов
/ 01 июля 2019

У меня есть приложение, которое запрашивает страницу с определенным номером (т.е. 1). Когда эта страница запрашивается, и все сказано и сделано, мы больше не хотим возвращаться на эту страницу. Таким образом, мы помещаем его в базу данных таким образом, чтобы не запрашивать страницу, которая уже была запрошена.

Я вижу проблему с этим. В конце концов (это может занять много времени) может быть более миллиарда строк. Это не только дорогое хранилище, но и сложное для запроса.

Кикер в том, что номера расположены не в одинаковом порядке - выбранный номер страницы выбирается случайным образом из максимального номера страницы. Это может быть 1, затем один квинтиллион, затем обратно до 3000. Поэтому я не могу просто увеличивать число на единицу каждый раз, чтобы показать минимальный номер страницы, на котором мы должны быть.

Что может быть лучшим способом обеспечить повторный запрос страниц? Я надеюсь, что мой вопрос имеет смысл.

...