У меня есть конфигурация JSON для моего конвейера в Pachyderm:
{
"pipeline": {
"name": "mopng-beneficiary-v2"
},
"input": {
"pfs": {
"repo": "mopng_beneficiary_v2",
"glob": "/*"
}
},
"transform": {
"cmd": ["python3", "/pclean_phlc9h6grzqdhm6sc0zrxjne_UdOgg.py /pfs/mopng_beneficiary_v2/euoEQHIwIQTe1wXtg46fFYok.csv /pfs/mopng_beneficiary_v2//Users/aviralsrivastava/Downloads/5Feb18_master_ujjwala_latlong_dist_dno_so_v7.csv /pfs/mopng_beneficiary_v2//Users/aviralsrivastava/Downloads/ppac_master_v3_mmi_enriched_with_sanity_check.csv /pfs/mopng_beneficiary_v2/Qc.csv"],
"image": "mopng-beneficiary-v2-image"
}
}
И мой файл Docker выглядит следующим образом:
FROM ubuntu:14.04
# Install opencv and matplotlib.
RUN apt-get update \
&& apt-get upgrade -y \
&& apt-get install -y unzip wget build-essential \
cmake git pkg-config libswscale-dev \
python3-dev python3-numpy python3-tk \
libtbb2 libtbb-dev libjpeg-dev \
libpng-dev libtiff-dev libjasper-dev \
bpython python3-pip libfreetype6-dev \
&& apt-get clean \
&& rm -rf /var/lib/apt
RUN sudo pip3 install matplotlib
RUN sudo pip3 install pandas
# Add our own code.
ADD pclean.py /pclean.py
Однако, когда я запускаю свою команду для созданияpipe:
pachctl create-pipeline -f https://raw.githubusercontent.com/avisrivastava254084/learning-pachyderm/master/pipeline.json
Файлы существуют в pfs:
pachctl put-file mopng_beneficiary_v2 master -f /Users/aviralsrivastava/Downloads/pclean_phlc9h6grzqdhm6sc0zrxjne_UdOgg.py
➜ ~ pachctl put-file mopng_beneficiary_v2 master -f /Users/aviralsrivastava/Downloads/5Feb18_master_ujjwala_latlong_dist_dno_so_v7.csv
➜ ~ pachctl put-file mopng_beneficiary_v2 master -f /Users/aviralsrivastava/Downloads/ppac_master_v3_mmi_enriched_with_sanity_check.csv
➜ ~ pachctl put-file mopng_beneficiary_v2 master -f /Users/aviralsrivastava/Downloads/euoEQHIwIQTe1wXtg46fFYok.csv
Стоит отметить, что я получаю это из команды logs (pachctl get-logs --pipeline=mopng-beneficiary-v2
):
container "user" in pod "pipeline-mopng-beneficiary-v2-v1-lnbjh" is waiting to start: trying and failing to pull image