Как сохранить данные сканирования на Django ORM? - PullRequest
0 голосов
/ 06 мая 2020

Я использую bs4 для сканирования данных новостей. В первый раз я сделал функцию краулера на views.py, но из-за долгого времени загрузки выдает ошибку 504.

Итак, я решил сканировать и сохранять данные с помощью Django ORM с новым python файл с именем crawling.py в том же каталоге, что и модели.

Мой сканер импортирует следующие функции

# from django.portal import settings
from .models import *
import requests
from bs4 import BeautifulSoup
import urllib.request as req
import ssl
from bs4.builder import builder_registry
import time

, но возникает ошибка, как показано ниже

(project) macs-MacBook-Pro:portalpage mac$ python crawling.py
Traceback (most recent call last):
  File "crawling.py", line 2, in <module>
    from .models import *
ImportError: attempted relative import with no known parent package

I нашел способ запустить мой сканер в каталоге root, но я буду использовать crontab для пакетных заданий, поэтому я хотел бы найти свой crawling.py внутри каталога приложения.

Как я могу плавно запустить свой поисковый робот на серверной части ?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...