Причина в том, что указанный вами xpath указывает только на определенный элемент, и поэтому вы получаете только один результат. Вы должны использовать верхний parrent div, чтобы получить все поля результатов, а затем получить их дочерние теги div и, наконец, тег h2 с именем. Остается проблема, что ты собираешься делать с нагрузкой на свиток? Делать автопрокрутку в селене не очень хорошая идея, если есть другой лучший подход. Вот решение. Проверяя веб-сайт, он отправляет запросы GET / POST к API для получения всех данных, поэтому вам даже не нужно использовать пользовательский интерфейс и Selenium для получения данных, вы можете использовать простые запросы GET / POST. Вот пример URL-адреса для фабрик, выполняющих поиск с фильтрами по умолчанию на странице 1:
https://accord2.fairfactories.org/api/v1/factories?status=active,inactive,no%20brand,pending%20closure&designation=completed,ontrack,behindschedule,capnotfinalised,notfinalized,initialcompleted&progress=0,1,2,3,4,5,6,7,8,9&language=en&limit=20&format=json&page=1
Все параметры здесь взяты из фильтров в пользовательском интерфейсе, поэтому вам нужно настроить их, если вы хотитеизменить результат поиска. Используйте параметр page для следующих страниц (загружая больше при прокрутке в пользовательском интерфейсе).
Теперь у вас есть простые запросы GET / POST и JSON to pars.
Надеюсь, что это поможет.