Время от времени просматривая журналы поиска, я замечаю, что крупнейшим пользователем моей поисковой системы на сегодняшний день является бот-робот Google. Что дает? Он ищет контент, который может быть недоступен напрямую через навигацию? Если так, как он узнает, какие слова и фразы искать (они удивительно актуальны). Проверяет ли он самые популярные ключевые слова на сайте? Я знаю, что я, кажется, отвечаю на свой вопрос здесь, но на самом деле это работает только из первых принципов. Я хотел бы услышать от кого-то, кто знает, о чем они говорят (то есть не я).