В прошлом я обнаружил, что лучший способ добывать данные на таких сайтах, как Reddit или Digg, - это сначала использовать API разработчика, который они предоставляют. Обычно у вас есть целенаправленный интерес к теме или тренду, и единственный способ получить эти данные - через общедоступный интерфейс. Вы также можете анализировать каналы и комбинировать их, чтобы раскрыть 90% того, что вы хотели бы знать. Если вы хотите провести глубокое исследование данных, недоступных через API, вы должны быть готовы потратить значительное количество времени на написание пользовательских оболочек вокруг такого инструмента, как cURL. Если у вас есть бюджет, вы также можете позвонить им и спросить, предлагают ли они платные данные исследований пользователей.