Итак, я планирую создать веб-сканер, который будет искать на сайтах цитаты известных людей. Я делаю это исключительно из интереса, а не для какого-либо коммерческого использования, и т. Д. c.
Я немного изучил вопрос о законности веб-очистки и знаю о robots.txt и о том, что вам следует ждать между каждым запросом. , Тем не менее, я также читал о том, что вы должны соблюдать условия и положения веб-сайта.
Мой вопрос заключается в том, должен ли я действительно заботиться об условиях abd, поскольку сканер будет сохранять только публичные c данные и не будете использовать его в каких-либо коммерческих целях?
Если да, то как лучше всего заставить ваш сканер автоматически получать информацию об условиях использования?