Можно ли очистить все текстовые сообщения от Whatsapp Web с помощью Scrapy? - PullRequest
0 голосов
/ 09 июня 2018

Я экспериментировал со скребком в Интернете с помощью Scrapy, и мне было интересно получить все текстовые сообщения из всех чатов в Whatsapp для использования в качестве обучающих данных для проекта машинного обучения.Я знаю, что есть сайты, которые блокируют веб-сканеры / скребки, поэтому я хотел бы знать, возможно ли использовать Scrapy для получения этих сообщений, и если это невозможно, какие альтернативы я могу использовать?Я понимаю, что могу выбрать опцию «Чат по электронной почте» для каждого чата, но это может оказаться невозможным, если я хочу получать большой объем данных, не только из своих чатов, но и от других людей, которые хотят разрешитья использую их чаты для проекта.

1 Ответ

0 голосов
/ 10 июня 2018

Я думаю, что WhatsApp не блокирует сканеры и скребки.У вас есть доступ только к вашему web.whatsapp.com.Это ваш метрик, что вы будете делать со своими сообщениями.Когда я пишу код для чтения / записи сообщений WhatsApp, я использовал Selenium WebDriver, который может полностью автоматизировать любые действия браузера.Он работал слишком стабильно для WhatsUpp.Это была не полностью автоматизация, будь курс QR-кода.Если вы нажмете F12 и перейдете на вкладку «сеть» в веб-браузере, вы заметите пакеты XHR с сообщениями внутри.Вы можете увидеть это при загрузке новых сообщений во время прокрутки или открытия человека.Это похоже на байтовые данные.Поэтому я не думаю, что вы можете написать код Scrapy для этого.

...