В Sun JCE RSA/ECB/OAEPWithSHA-256AndMGF1Padding
фактически означает Hash = SHA256 и MGF1 с использованием SHA1.Pycrypto *, с другой стороны, предполагает MGF1 + SHA256, когда Hash = SHA256.
Вам необходимо соответствующим образом настроить Pycrypto *, передав правильный механизм хеширования в функцию MGF1:
from Cryptodome.Cipher import PKCS1_OAEP
from Cryptodome.Hash import SHA256, SHA1
from Cryptodome.Signature import pss
cipher = PKCS1_OAEP.new(key=self.key, hashAlgo=SHA256, mgfunc=lambda x,y: pss.MGF1(x,y, SHA1))
ciphertext = cipher.encrypt(cek)
Стоит отметить, что в соответствии с разбивкой RSA / ECB / OAEPWITHSHA-256ANDMGF1PADDING BouncyCastle использует SHA256 как для хэша, так и для MGF1 точно так же, как Pycrypto *.