Как исправить .locked уже существует в Nutch Crawler? - PullRequest
0 голосов
/ 23 апреля 2019

Я начинающий пользователь NUTCH. Когда я выполнял повторное сканирование с помощью команд сканирования bin / nutch, я получил ошибку .locked уже существует.

Следующее мое исключение. Инверсия ссылок

/ home / crawler_user / apache-nutch-1.14 / bin / nutch / Данных / crawler_user / Nutch / полз-данные / linkdb / data / crawler_user / nutch / crawled-data / сегменты / 20190423100709 LinkDb: java.io.IOException: блокировка файла /data/crawler_user/nutch/crawled-data/linkdb/.locked уже существует. в org.apache.nutch.util.LockUtil.createLockFile (LockUtil.java:51) в org.apache.nutch.crawl.LinkDb.invert (LinkDb.java:181) в org.apache.nutch.crawl.LinkDb.run (LinkDb.java:337) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) в org.apache.nutch.crawl.LinkDb.main (LinkDb.java:297) Ошибка при выполнении:
/home/crawler_user/apache-nutch-1.14/bin/nutch invertlinks / Данных / crawler_user / Nutch / полз-данные / linkdb / data / crawler_user / nutch / crawled-data / сегменты / 20190423100709 Failed со значением выхода 255.

1 Ответ

0 голосов
/ 23 апреля 2019

Предполагая, что вы на самом деле не запускаете другой процесс Nutch одновременно (он на самом деле не заблокирован), тогда будет безопасно удалить файл /data/crawler_user/nutch/crawled-data/linkdb/.locked.Обычно это означает, что предыдущий запуск этого этапа (invertlinks) не завершился успешно.

...