Я бы пошел с XML-картой сайта, как определено здесь http://sitemaps.org/
HTML-карты сайтов больше ориентированы на навигацию пользователей, и urllist.txt, кажется, является старым методом предоставления ссылок на Yahoo.
XML-карты сайта в формате, определенном на указанном выше сайте, были созданы Google, Yahoo! и Microsoft и признаны всеми тремя.
Остальные не причинят никакого вреда, но я считаю, что наибольшую выгоду принесет карта сайта xml.
Что касается сжатия, это зависит от вас, если вы хотите сохранить свою пропускную способность, скопируйте ее, однако имейте в виду, что в несжатом виде она должна быть не более 10 МБ.