Проблема заключается в размере используемых клавиш, меня тоже немного озадачили.
Для безопасного использования OAEP необходимо использовать> = 2048-битные ключи RSA.
Также убедитесь, что вы запустили
$rsa->setHash('sha512');
$rsa->setMGFHash('sha512');
перед setEncryptionMode () на стороне PHP.
edit : кажется, что 1024 клавиши не будут работать правильно даже с sha256, поэтому я изменил свой ответ, чтобы включить только безопасный маршрут 2048+ битов.