Для 32-битных операций с плавающей запятой IEEE причина заключается в том, что точность должна быть не менее 24-битной фиксированной точки.
Почему именно 24 бита, я не знаю, но это кажется разумным компромиссом.
Полагаю, наличие хорошего "круглого" числа, подобного этому (мантисса + знак = 3 байта, экспонента = 1 байт) также может сделать реализации более эффективными.