На каком языке программирования написан робот Googlebot (или любой другой эффективный веб-сканер)?

Question

Кто-нибудь знает, на каком языке программирования был написан робот Google?

Или, в более общем плане, на каком языке написаны эффективные веб-сканеры?

Я видел много на языке Java, но он не кажется мне наиболее подходящим языком для разработки веб-сканера, потому что он создает слишком много накладных расходов (пробовал с веб-сканером Heritrix, и он очень тяжелый) .

Answer 1

Образованное предположение Python. Они нанимают его создателя . Однако я могу представить, что их сканер, вероятно, является распределенным приложением, которое использует MapReduce , и в этом случае это может быть приложение на C / C ++.

Хотя это и не главное. Вы можете написать эффективный веб-сканер на разных языках и при этом получить тот же результат. Молоток все равно ударит в гвоздь, даже если это желтый или синий молоток. Выберите свой любимый цвет и используйте его правильно.

Answer 2

Это может помочь. Оригинальный Google Paper.

http://infolab.stanford.edu/~backrub/google.html

Answer 3

Самая ранняя версия, Backrub, была написана на Python и Java .

Answer 4

Не знаю о GoogleBot (скорее всего, C или Python), но есть и хорошие как в Java, так и .NET.

Одним из наиболее популярных вариантов с открытым исходным кодом является Nutch (часто используется с Lucene).

Сам Nutch пишет на Java и довольно эффективен. Также есть порт .NET под названием Nutch.NET.

Answer 5

Я не думаю, что язык будет иметь такое же значение, как конкретная реализация.

Какие накладные расходы вас волнуют в Java? память, вычислительная мощность?