Риски безопасности системы очистки ссылок

Question

Я внедряю систему очистки ссылок, такую ​​как функция общего доступа к ссылкам Facebook, посредством которой пользователь вводит URL, который передается на наш сервер через ajax, а затем наш сервер выполняет запрос на получение (используя запросы библиотека) и анализирует html-ответ с Beautiful Soup , чтобы получить соответствующую информацию о странице.

В этом типе системы, очевидно, человек может ввести любой URL, который он хочет. Я пытаюсь представить, каким типам угроз безопасности может подвергаться наш сервер в этом типе сценария? Может ли такая установка быть использована злонамеренно?

Answer 1

Вы должны сделать Google для RFI / LFI (удаленного / локального) уязвимости включения файлов и Iframe атак. Если вы в безопасности от этих двух атак, значит, у вас все хорошо.

Answer 2

Я построил довольно много маленьких и больших систем сканирования.На самом деле не уверен, о каких рисках безопасности вы говорите.Я не совсем понимаю ваши требования.

Но если все, что вы делаете, это извлекаете html с помощью BeautifulSoup, а затем извлекаете определенные данные о странице, такие как title tag & meta tag tag и т. Д., И затем сохраняетеэти данные.Я не вижу никаких проблем.

Если вы не слепо делаете какие-то eval ни в ответ на URL, ни на материал, введенный пользователем, вы в безопасности, я чувствую.

Answer 3

Возможно, вы хотите убедиться, что ваш сервер не выполняет никаких плагинов и не копирует видео / изображения.

Javascript сложнее, если вы проигнорируете его, вы пропустите некоторые ссылки, если вы выполните его, тогда вам лучше быть уверенным, что вы не будете использовать что-то вроде отправки спама.

Если вы спрашиваете о SO, вы, вероятно, недостаточно уверены!