Nokogiri не может видеть содержимое AJAX, потому что это не анализатор Javascript, и в результате не может интерпретировать его и выполнить необходимый запрос.
То, что вы хотите, - это что-то вроде Watir или одного из его побочных эффектов, в зависимости от вашей ОС. Они запустят браузер, который может обработать Javascript и полученный AJAX-запрос.
Затем вы можете запросить содержимое страницы и выполнить анализ DOM с помощью Nokogiri.
Процесс слишком специфичен для общего примера, но на странице Платформа Watir вы увидите поддерживаемые браузеры. примеры довольно просты в понимании, поэтому вы должны быть в состоянии собрать что-то вместе.