У нас есть движок для сканирования форумов. Когда я сканирую некоторые ссылки, используя curl, в URL добавляется переменная как таковая s = 23423235sdfsd234
например. forum.com/displayforum?php?f=34
станет forum.com/displayforum?php?f=34s=23423235sdfsd234
При обычном серфинге по форуму URL-адреса там без s = blabla. Я считаю, что это номер сеанса, добавляемый в URL автоматически. В любом случае можно этого избежать, поскольку мы получаем дубликаты в нашей базе данных для того же URL-адреса.
Благодарю вас