Я нашел реальную причину проблемы. Это не разрешение, а scikit-изображение, которое изменяет тип данных изображения на плавающее, что делает его слишком большим для стека памяти.
Способ обойти это - превратить ваше изображение в массив с помощью типа данных uint8. Как это:
from PIL import Image
import numpy as np
from skimage.color import rgb2gray
im = Image.open("test.jpg")
pix = np.array(im, dtype=np.uint8)
img = rgb2gray(pix)
после преобразования его в пустой массив, вы можете использовать его для любой операции, предоставляемой scikit-image