Возможно, вы могли бы использовать Sitemapper на основе сканера, например, http://a1 -sitemap-generator.com
Но полмиллиона URL - это много для создателя сайта, основанного на сканере. Однако, если на вашем веб-сайте имеется 7–14 различных «разделов», вы можете попытаться создать карту сайта для каждого раздела (например, запланированное обновление еженедельно), а затем связать все карты сайта XML в файле индекса карты сайта.
Вы также можете связаться с разработчиками решений для карт сайта Magento, которые вы использовали. Может быть, они могут быть настроены так же, чтобы просто создать карту сайта, охватывающую часть базовой базы данных. Возможно, они могли бы улучшить свой код для обработки больших веб-сайтов.
Вы также можете рассмотреть конфигурацию сервера. Может быть, скрипт просто слишком долго перебирает базу данных. Часто есть опция сервер / PHP, когда скрипт убивается из-за слишком долгой работы на сервере.