согласно документации по scrapyd, журналы должны находиться в /var/log/scrapyd/
главном файле журнала /var/log/scrapyd/scrapyd.log
есть два других журнала, в которых выводятся данные консоли и сообщения об ошибках
/var/log/scrapyd/scrapyd.out
/var/log/scrapyd/scrapyd.err
для каждого проекта будут отдельные журналы /var/log/scrapyd/PROJECT/SPIDER/ID.log
вы можете удалить журналы, используя команду rm
но я предлагаю вам внедрить log log rotate link вместо того, чтобы удалять журналы вручную