Отсюда: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992
Для индексации рекомендуется сделать снимок страницы в формате html.Как я могу сделать это с Watij?С htmlunit?
Вот что я придумал:
https://gist.github.com/3702913
В основном, мы используем капибару для загрузки и рендеринга страницы. Простой.
Сначала я попробовал WebSpec и HtmlUnit, но мне не повезло. (Опять же, JRuby может все усложнить.)