Сохраните данные в базе данных Postgresql

Question

Я не понимаю, как сохранить очищенные данные в базе данных Postgresql.Я пытался использовать Psycopg2 безрезультатно ... Я узнал, что я могу использовать модели django для этого

Скребок должен очищать каждое сообщение в блоге на каждой странице. Данные со скребка должны идти в базу данных Postgresql, где следующеебудет подсчитана статистика:

1. 10 самых распространенных слов вместе с их номерами под адресом / статистика

2. 10 самых распространенных слов с указанием их чисел на одного автора под адресом /статистика / /

публикует авторов с их именами, доступными по адресу / stats / /, доступными по адресу / авторов /

в приведенном ниже коде, например, я пытался получить имена авторов, ноЯ получаю такую ​​ошибку:

authors = Author(name='author name')
TypeError: 'NoneType' object is not callable

Импорт моделей в скребок тоже не помогает ...

Вот мой скребок:

import requests
from bs4 import BeautifulSoup as bs
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from collections import Counter


url = 'https://teonite.com/blog/page/{}/index.html'
all_links = []


headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'User-Agent': 'Mozilla/5.0'
}
with requests.Session() as s:
    r = s.get('https://teonite.com/blog/')
    soup = bs(r.content, 'lxml')
    article_links = ['https://teonite.com' + item['href'][2:] for item in soup.select('.post-content a')]
    all_links.append(article_links)
    num_pages = int(soup.select_one('.page-number').text.split('/')[1])


    for page in range(2, num_pages + 1):
        r = s.get(url.format(page))
        soup = bs(r.content, 'lxml')
        article_links = ['https://teonite.com' + item['href'][2:] for item in soup.select('.post-content a')]
        all_links.append(article_links)



    all_links = [item for i in all_links for item in i]

    d = webdriver.Chrome(ChromeDriverManager().install())

    contents = []
    authors = []

    for article in all_links:
        d.get(article)
        soup = bs(d.page_source, 'lxml')
        [t.extract() for t in soup(['style', 'script', '[document]', 'head', 'title'])]
        visible_text = soup.getText()
        content = soup.find('section', attrs={'class': 'post-content'})
        contents.append(content)
        Author = soup.find('span', attrs={'class': 'author-content'})
        authors.append(Author)

##  Below is the two lines of code where is the error

        authors = Author(name='author name')
        Author.save()

        unique_authors = list(set(authors))
        unique_contents = list(set(contents))
        try:
            print(soup.select_one('.post-title').text)
        except:
            print(article)
            print(soup.select_one('h1').text)
            break  # for debugging
    d.quit()

Модели:

from django.db import models

class Author(models.Model):
    author_id = models.CharField(primary_key=True, max_length=50, editable=False)
    author_name = models.CharField(max_length=50)

    class Meta:
        ordering = ['-author_id']
        db_table = 'author'


class Stats(models.Model):
    content = models.CharField(max_length=50)
    stats = models.IntegerField()

    class Meta:
        ordering = ['-stats']
        db_table = 'stats'



class AuthorStats(models.Model):
    author_id = models.CharField(max_length=100)
    content = models.CharField(max_length=100)
    stats = models.IntegerField()

    class Meta:
        ordering = ['stats']
        db_table = 'author_stats'

Answer 1

Вы используете Author неправильно.Вам необходимо:

1. Импортировать ваш models.py
2. Вам не нужен локальный список authors.
3. Изменить Author = soup.find('span', attrs={'class': 'author-content'}) на что-то вроде author_raw = soup.find('span', attrs={'class': 'author-content'}).
4. Создать автора с помощью author = models.Author(name=author_raw.name) и сохранить его с помощью author.save().(Я не знаю, что soap.find возвращает авторам, поэтому вы можете редактировать эту часть в параметрах Author конструктора модели.)

Answer 2

Вы явно установили Author как нечто отличное от модели:

Author = soup.find('span', attrs={'class': 'author-content'})

Импортируйте модель Author и не скрывайте ее.

(Ивы делаете что-то подобное с authors.)