В результате получается, что страницы, которые вы видите в браузере, не совпадают с запросами. Чтобы решить проблему, вы должны сохранить сеанс (запросов) живым.
Попробуйте, у меня это сработало. Замените свой большой цикл на:
with requests.Session() as s: # <--- here we create a session that stays alive
for url1 in url_list1:
data1 = s.get(url1) # <--- here we call the links with the same session
soup1 = BeautifulSoup(data1.text, 'html.parser')
productUrls = soup1.findAll('article')
for url2 in productUrls:
get_urls = "https://www.6pm.com"+url2.find('a', attrs={'itemprop': 'url'})['href']
url_list2.append(get_urls)
Удачи!