Команда Scrapy занимает от 30 секунд до 1 минуты - PullRequest
0 голосов
/ 31 октября 2019

Я запускаю эти команды в док-контейнере на удаленном сервере, но когда я запускаю scrapy, независимо от того, какие параметры или аргументы, для отображения результата требуется много раз.

bash-4.4# time scrapy version
Scrapy 1.7.4

real    0m50.495s
user    0m1.397s
sys 0m0.111s

bash-4.4# time python3
Python 3.6.9 (default, Oct 17 2019, 11:17:29) 
[GCC 6.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> 

real    0m1.738s
user    0m0.036s
sys 0m0.009s

Есть ли кто-нибудь сталкивается с подобной ситуацией?

Это не происходит на локальном компьютере или в контейнере

bash-4.4# time scrapy version
Scrapy 1.8.0

real    0m0.527s
user    0m0.503s
sys     0m0.024s

Вот Dockerfile, который работает нормально локально, но на удаленном сервере.

FROM php:7.1-fpm-alpine3.8

COPY docker/imagesPlugin/pip.conf /root/.pip/pip.conf

RUN set -x \
    && sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories \
    && apk update \
    && apk --update add autoconf gcc make g++ openssh openssl-dev libffi-dev bash python3 python3-dev libmemcached-libs vim curl libxml2-dev libxslt-dev \
    && pip3 install --upgrade pip \
    && pip3 install --no-cache-dir Scrapy \
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...