Отображение изображения URL с помощью Pyspark

Question

У меня есть фрейм данных, который содержит столбец с URL-ссылками, я хочу, чтобы каждое из изображений отображалось.

Я попробовал следующее решение для локальных файлов, но оно не работало для URL-ссылок. Spark с использованием изображений, считанных PySpark

Если кто-нибудь знает, как это сделать для фрейма данных pyspark, используя ссылку URL, пожалуйста, поделитесь.

Пример URL JPG: https://steemitimages.com/DQmWSoXZPHH2XEuVRUbPqiPLf6niA2xfvFXYZ2FYPYhMQ4X/1%20(3).jpg

Answer 1

Загрузка изображения работает только для локального пути или hdfs, как путь.Вы можете только загрузить этот образ на локальный диск, а затем загрузить его.

import urllib.request

# path to your image source directory
sample_img_dir = /tmp/images

urllib.request.urlretrieve(' https://steemitimages.com/DQmWSoXZPHH2XEuVRUbPqiPLf6niA2xfvFXYZ2FYPYhMQ4X/1%20(3).jpg', sample_img_dir+'/image1.jpg')


# Read image data using new image scheme
image_df = spark.read.format("image")\
           .option("dropInvalid", true)\
           .load(sample_img_dir)


image_df.select("image.origin", "image.width", "image.height").show(truncate=False)
+-------------------------------------------+-----+------+
|origin                                     |width|height|
+-------------------------------------------+-----+------+
|file:///tmp/images/image1.jpg              |300  |311   |
|file:///tmp/images/image2.jpg              |199  |313   |
|file:///tmp/images/image3.jpg              |300  |200   |
|file:///tmp/images/image4.jpg              |300  |296   |
+-------------------------------------------+-----+------+

Ссылка:

• Представление встроенного источника данных изображения в Apache Spark 2.4