Вам не нужно удалять любые виды дубликатов.
Необходимо только обновить код.
Пожалуйста, продолжайте читать. Я предоставил подробное описание, связанное с этой проблемой. Также не забудьте проверить эту суть https://gist.github.com/hygull/44cfdc1d4e703b70eb14f16fec14bf2c, которую я написал для отладки вашего кода.
"ГДЕ ПРОБЛЕМА БЫЛА?
Я знаю, что вы хотите этого, потому что вы получаете дублированные словари.
Это потому, что вы выбираете контейнеры как h4 элементы & f
или каждая информация о книге, указанная страница ссылки https://open.bccampus.ca/find-open-textbooks/
и https://open.bccampus.ca/find-open-textbooks/?start=10
имеют 2 h4 элементов.
Поэтому вместо получения списка из 20 элементов (по 10 с каждой страницы) в виде списка контейнеров вы
получить только двойной список из 40 элементов, каждый элемент которого равен h4.
Вы можете получить разные значения для каждого из этих 40 пунктов, но проблема заключается в выборе родителей.
Как это дает тот же элемент, так и тот же текст.
Давайте проясним проблему, приняв следующий фиктивный код.
Примечание: Вы также можете посетить и проверить https://gist.github.com/hygull/44cfdc1d4e703b70eb14f16fec14bf2c, так как он содержит код Python, который я создал для отладки и решения этой проблемы. Вы можете получить ИДЕЮ.
<li> <!-- 1st book -->
<h4>
<a> Text 1 </a>
</h4>
<h4>
<a> Text 2 </a>
</h4>
</li>
<li> <!-- 2nd book -->
<h4>
<a> Text 3 </a>
</h4>
<h4>
<a> Text 4 </a>
</h4>
</li>
...
...
<li> <!-- 20th book -->
<h4>
<a> Text 39 </a>
</h4>
<h4>
<a> Text 40 </a>
</h4>
</li>
"" container = page_soup.find_all ("h4"); выдаст приведенный ниже список h4 элементов.
[
<h4>
<a> Text 1 </a>
</h4>,
<h4>
<a> Text 2 </a>
</h4>,
<h4>
<a> Text 3 </a>
</h4>,
<h4>
<a> Text 4 </a>
</h4>,
...
...
...
<h4>
<a> Text 39 </a>
</h4>,
<h4>
<a> Text 40 </a>
</h4>
]
"" В случае вашего кода 1-я итерация внутреннего цикла for будет ссылаться под элементом как container переменная.
<h4>
<a> Text 1 </a>
</h4>
"" 2-я итерация будет ссылаться под элементом как контейнер переменная.
<h4>
<a> Text 1 </a>
</h4>
"" В обеих вышеупомянутых (1-й, 2-й) итерациях внутреннего цикла for container.parent; даст следующий элемент.
<li> <!-- 1st book -->
<h4>
<a> Text 1 </a>
</h4>
<h4>
<a> Text 2 </a>
</h4>
</li>
"" И container.parent.a даст следующий элемент.
<a> Text 1 </a>
"" Наконец, container.parent.a.text дает приведенный ниже текст в качестве названия нашей книги для первых двух книг.
Text 1
Вот почему мы получаем дублированные словари, так как наши динамические title & author также одинаковы.
Давайте избавимся от этой проблемы 1 на 1.
"ДЕТАЛИ ВЕБ-СТРАНИЦЫ:
- У нас есть ссылки на 2 веб-страницы.
Каждая веб-страница содержит сведения о 10 учебниках.
В каждой детали книги содержится 2 h4 элементов.
Итого, 2x10x2 = 40 h4 элементов.
"НАША ЦЕЛЬ:
Наша цель - получить массив / список из 20 словарей, а не 40.
Таким образом, необходимо перебрать список контейнеров по 2 элементам, т.е.
просто пропустив 1 элемент в каждой итерации.
"ИЗМЕНЕННЫЙ КОД РАБОТЫ:
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
import json
urls = [
'https://open.bccampus.ca/find-open-textbooks/',
'https://open.bccampus.ca/find-open-textbooks/?start=10'
]
data = []
#opening up connection and grabbing page
for url in urls:
uClient = urlopen(url)
page_html = uClient.read()
uClient.close()
#html parsing
page_soup = soup(page_html, "html.parser")
#grabs info for each textbook
containers = page_soup.find_all("h4")
for index in range(0, len(containers), 2):
item = {}
item['type'] = "Textbook"
item['link'] = "https://open.bccampus.ca/find-open-textbooks/" + containers[index].parent.a["href"]
item['source'] = "BC Campus"
item['title'] = containers[index].parent.a.text
item['authors'] = containers[index].nextSibling.findNextSibling(text=True)
data.append(item) # add the item to the list
with open("./json/bc-modified-final.json", "w") as writeJSON:
json.dump(data, writeJSON, ensure_ascii=False)
"ВЫХОД:
[
{
"type": "Textbook",
"title": "Vital Sign Measurement Across the Lifespan - 1st Canadian edition",
"authors": " Jennifer L. Lapum, Margaret Verkuyl, Wendy Garcia, Oona St-Amant, Andy Tan, Ryerson University",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=feacda80-4fc1-40a5-b713-d6be6a73abe4&contributor=&keyword=&subject=",
"source": "BC Campus"
},
{
"type": "Textbook",
"title": "Exploring Movie Construction and Production",
"authors": " John Reich, SUNY Genesee Community College",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=19892992-ae43-48c4-a832-59faa1d7108b&contributor=&keyword=&subject=",
"source": "BC Campus"
},
{
"type": "Textbook",
"title": "Project Management",
"authors": " Adrienne Watt",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=8678fbae-6724-454c-a796-3c6667d826be&contributor=&keyword=&subject=",
"source": "BC Campus"
},
...
...
...
{
"type": "Textbook",
"title": "Naming the Unnamable: An Approach to Poetry for New Generations",
"authors": " Michelle Bonczek Evory. Western Michigan University",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=8880b4d1-7f62-42fc-a912-3015f216f195&contributor=&keyword=&subject=",
"source": "BC Campus"
}
]
Наконец, я попытался изменить ваш код и добавил дополнительные детали description, date & categories к объекту словаря.
Python версия: 3.6
Зависимость: pip install beautifulsoup4
"ИЗМЕНЕННЫЙ РАБОЧИЙ КОД (УЛУЧШЕННАЯ ВЕРСИЯ):
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
import json
urls = [
'https://open.bccampus.ca/find-open-textbooks/',
'https://open.bccampus.ca/find-open-textbooks/?start=10'
]
data = []
#opening up connection and grabbing page
for url in urls:
uClient = urlopen(url)
page_html = uClient.read()
uClient.close()
#html parsing
page_soup = soup(page_html, "html.parser")
#grabs info for each textbook
containers = page_soup.find_all("h4")
for index in range(0, len(containers), 2):
item = {}
# Store book's information as per given the web page (all 5 are dynamic)
item['title'] = containers[index].parent.a.text
item["catagories"] = [a_tag.text for a_tag in containers[index + 1].find_all('a')]
item['authors'] = containers[index].nextSibling.findNextSibling(text=True).strip()
item['date'] = containers[index].parent.find_all("strong")[1].findNextSibling(text=True).strip()
item["description"] = containers[index].parent.p.text.strip()
# Store extra information (1st is dynamic, last 2 are static)
item['link'] = "https://open.bccampus.ca/find-open-textbooks/" + containers[index].parent.a["href"]
item['source'] = "BC Campus"
item['type'] = "Textbook"
data.append(item) # add the item to the list
with open("./json/bc-modified-final-my-own-version.json", "w") as writeJSON:
json.dump(data, writeJSON, ensure_ascii=False)
"ВЫХОД (УЛУЧШЕННАЯ ВЕРСИЯ):
[
{
"title": "Vital Sign Measurement Across the Lifespan - 1st Canadian edition",
"catagories": [
"Ancillary Resources"
],
"authors": "Jennifer L. Lapum, Margaret Verkuyl, Wendy Garcia, Oona St-Amant, Andy Tan, Ryerson University",
"date": "May 3, 2018",
"description": "Description: The purpose of this textbook is to help learners develop best practices in vital sign measurement. Using a multi-media approach, it will provide opportunities to read about, observe, practice, and test vital sign measurement.",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=feacda80-4fc1-40a5-b713-d6be6a73abe4&contributor=&keyword=&subject=",
"source": "BC Campus",
"type": "Textbook"
},
{
"title": "Exploring Movie Construction and Production",
"catagories": [
"Adopted"
],
"authors": "John Reich, SUNY Genesee Community College",
"date": "May 2, 2018",
"description": "Description: Exploring Movie Construction and Production contains eight chapters of the major areas of film construction and production. The discussion covers theme, genre, narrative structure, character portrayal, story, plot, directing style, cinematography, and editing. Important terminology is defined and types of analysis are discussed and demonstrated. An extended example of how a movie description reflects the setting, narrative structure, or directing style is used throughout the book to illustrate ...[more]",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=19892992-ae43-48c4-a832-59faa1d7108b&contributor=&keyword=&subject=",
"source": "BC Campus",
"type": "Textbook"
},
...
...
...
{
"title": "Naming the Unnamable: An Approach to Poetry for New Generations",
"catagories": [],
"authors": "Michelle Bonczek Evory. Western Michigan University",
"date": "Apr 27, 2018",
"description": "Description: Informed by a writing philosophy that values both spontaneity and discipline, Michelle Bonczek Evory’s Naming the Unnameable: An Approach to Poetry for New Generations offers practical advice and strategies for developing a writing process that is centered on play and supported by an understanding of America’s rich literary traditions. With consideration to the psychology of invention, Bonczek Evory provides students with exercises aimed to make writing in its early stages a form of play that ...[more]",
"link": "https://open.bccampus.ca/find-open-textbooks/?uuid=8880b4d1-7f62-42fc-a912-3015f216f195&contributor=&keyword=&subject=",
"source": "BC Campus",
"type": "Textbook"
}
]
Вот и все. Спасибо.