Вы всегда можете использовать БД, но проблема с доступом к диску. Каждый раз, когда вы выполняете доступ к диску, чтобы прочитать несколько URL-адресов, очистите их и снова запишите их в другую базу данных, которая является другим доступом к диску. Этот процесс в порядке, если вы не беспокоитесь о производительности.
Одним из решений является то, что вы можете использовать любую структуру данных так же просто, как список, хранить группу или URL-адреса, иметь поток, который просыпается, когда список достигает порогового значения, очищает URL-адреса, а затем вы можете записать эти URL-адреса в Amazon RDS. .