Twitter API принимает параметр номера страницы. В результатах атома есть элементы ссылки с атрибутами rel для следующего и предыдущего. Это будет вашим лучшим показателем того, стоит ли вам искать вторую страницу и так далее. Атрибут href этого тега даже скажет вам URL, который вы должны запросить.
Созданный вами запрос также принимает параметр since_id. Вы захотите сохранить самый большой номер идентификатора, который вы видите в своих ответах, и использовать его в последующих запросах, чтобы вам не нужно было фильтровать дубликаты.
Что касается хранения данных, ваш выбор, вероятно, лучше всего будет зависеть от того, что вы планируете делать с результатами ... если вы собираетесь делать какие-либо запросы, вам, вероятно, следует сохранить их в базе данных, т.е. MySQL. Если вы просто регистрируетесь, плоский файл должен подойти.