Я использую bs4 для сканирования данных новостей. В первый раз я сделал функцию краулера на views.py, но из-за долгого времени загрузки выдает ошибку 504.
Итак, я решил сканировать и сохранять данные с помощью Django ORM с новым python файл с именем crawling.py в том же каталоге, что и модели.
Мой сканер импортирует следующие функции
# from django.portal import settings
from .models import *
import requests
from bs4 import BeautifulSoup
import urllib.request as req
import ssl
from bs4.builder import builder_registry
import time
, но возникает ошибка, как показано ниже
(project) macs-MacBook-Pro:portalpage mac$ python crawling.py
Traceback (most recent call last):
File "crawling.py", line 2, in <module>
from .models import *
ImportError: attempted relative import with no known parent package
I нашел способ запустить мой сканер в каталоге root, но я буду использовать crontab для пакетных заданий, поэтому я хотел бы найти свой crawling.py внутри каталога приложения.
Как я могу плавно запустить свой поисковый робот на серверной части ?