LinkedIn имя профиля соскоб - PullRequest
Новая
       0

LinkedIn имя профиля соскоб

0 голосов
/ 13 апреля 2020

Я пытался очистить только имена профилей из множества URL-адресов LinkedIn, которые у меня есть. Я использую BS4 с python. Но что бы я ни делал, bs4 возвращает пустой массив. Что происходит? 

import requests
from bs4 import BeautifulSoup
import numpy as np
import pandas as pd
import re
r1 = requests.get("https://www.linkedin.com/in/agazdecki/")
coverpage = r1.content
soup1 = BeautifulSoup(coverpage, 'html5lib')
name_container = soup1.find_all("li", class_ = "inline t-24 t-black t-normal break-words")
print(name_container)

Ответы [ 2 ]

2 голосов
/ 13 апреля 2020

Если вы попытаетесь загрузить страницу без JavaScript, вы увидите, что элемент, который вы пытаетесь найти, не существует. Другими словами, вся страница LinkedIn загружается с Javascript (как одностраничные приложения . Фактически, BeautifulSoup работает как положено и анализирует полученную страницу, которая имеет код JavaScript и не та страница, которую вы ожидали. 

>>> coverpage = r1.content
>>> coverpage
b'<html><head>\n<script type="text/javascript">\nwindow.onload =
function() {\n  // Parse the tracking code from cookies.\n  var trk =
"bf";\n  var trkInfo = "bf";\n  var cookies = document.cookie.split(";
");\n  for (var i = 0; i < cookies.length; ++i) {\n    if
((cookies[i].indexOf("trkCode=") == 0) && (cookies[i].length > 8)) {\n
 trk = cookies[i].substring(8);\n    }\n    else if
((cookies[i].indexOf("trkInfo=") == 0) && (cookies[i].length > 8)) {\n
 trkInfo = cookies[i].substring(8);\n    }\n  }\n\n  if
(window.location.protocol == "http:") {\n    // If "sl" cookie is set,
redirect to https.\n    for (var i = 0; i < cookies.length; ++i) {\n
 if ((cookies[i].indexOf("sl=") == 0) && (cookies[i].length > 3)) {\n
 window.location.href = "https:" +
window.location.href.substring(window.location.protocol.length);\n
 return;\n      }\n    }\n  }\n\n  // Get the new domain. For international
domains such as\n  // fr.linkedin.com, we convert it to www.linkedin.com\n
 var domain = "www.linkedin.com";\n  if (domain != location.host) {\n
 var subdomainIndex = location.host.indexOf(".linkedin");\n    if
(subdomainIndex != -1) {\n      domain = "www" +
location.host.substring(subdomainIndex);\n    }\n  }\n\n
 window.location.href = "https://" + domain + "/authwall?trk=" + trk +
"&trkInfo=" + trkInfo +\n      "&originalReferer=" +
document.referrer.substr(0, 200) +\n      "&sessionRedirect=" +
encodeURIComponent(window.location.href);\n}\n</script>\n</head></html>'

Вы можете попробовать использовать что-то вроде Selenium .

1 голос
/ 13 апреля 2020

  1. Первая ошибка: вы используете запросы для извлечения страницы, но вы должны знать, что вы должны войти в систему, чтобы вам могли использовать сеансы.

  2. Вторая ошибка: вы используете селектор css, чтобы получить элемент, который динамически генерируется JavaScript и визуализируется браузером, поэтому, если вы просматриваете исходный код страницы, вы не обнаружите, что li тег или class или имя профиля в любом месте, кроме тега кода в json объекте.

Я предполагаю, что вы используете сеанс 

import requests , re , json
from bs4 import BeautifulSoup

r1 = requests.Session.get("https://www.linkedin.com/in/agazdecki/", headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"})
soup = BeautifulSoup(r1.content, 'html.parser')
info_tag = soup.find('code',text=re.compile('"data":{"firstName":'))
data = json.loads(info_tag.text)
first_name = data['data']['firstName']
last_name = data['data']['lastName']
occupation = data['data']['occupation']
print('First Name :' , first_name)
print('Last Name :' , last_name)
print('occupation :' , occupation)

Выход: 

First Name : Andrew
Last Name : Gazdecki
occupation : Chief Revenue Officer @ Spiff. Inc. 30 under 30 Entrepreneur.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...