Настройка ОЗУ в Nutch - PullRequest
       44

Настройка ОЗУ в Nutch

0 голосов
/ 22 января 2019

Я использую Nutch 1.10 для сканирования веб-сайтов своей организации.Я использую систему с 16 ГБ ОЗУ для этого сканирования.На данный момент мой ореховый файл использует только 3-4 ГБ ОЗУ при сканировании данных, и на его завершение уходит почти 10 часов.Есть ли способ, где я могу настроить орех для использования более 12 ГБ ОЗУ для завершения той же задачи?Все предложения приветствуются!

1 Ответ

0 голосов
/ 23 января 2019

Предполагается, что сценарий bin / nutch или bin / crawl используется для сканирования в локальном режиме (без кластера Hadoop): переменная среды NUTCH_HEAPSIZE определяет размер кучи в МБ.

...