Проблема здесь с версией альпийского изображения, попробуйте использовать тег latest или любой другой тег, с которым совместим последний py-pip.
FROM alpine:latest
RUN apk --update add python py-pip && \
pip install pytest requests
ADD test_http.py /tmp
CMD ["pytest", "/tmp"]
Вы также можете найти и попробовать установить версию py-pip, совместимую с версией alpine 3.4.