У меня была та же проблема, но для Windows 7. Легко решив, я создал системную переменную среды с именем HOME и установил ее в каталог, в котором я хотел получить мой файл .rnd. Это решило проблему, поскольку OpenSSL не знал, где находится Файл .rnd был (потому что у меня его не было), и он не знал, куда его поместить, если он должен был его создать. Как только я установил переменную окружения HOME в каталог (c: \ отлично!), Я перезапустил генерацию ключей в OpenSSL, и она сразу же заработала. Чтобы проверить, я проверил ключ, который я создал, и у него было надлежащее содержание. Я также проверил каталог, в котором я установил свою переменную окружения HOME, и вот, файл .rnd был там! Надеюсь, это кому-нибудь поможет: -)