Префикс b
указывает, что вы имеете дело с байтовой строкой, которая, по сути, представляет собой просто последовательность байтов. чтобы превратить их в текст, вам нужно применить некоторую кодировку.
Учитывая, что вы использовали base64, все созданные байты в любом случае красиво отображаются на ascii, и вы можете сделать что-то вроде этого:
print(base64.b64encode(os.urandom(24)).decode("ascii"))