Это не недостаток Python, скорее, это недостаток способа хранения чисел с плавающей запятой на компьютере. Независимо от языка реализации вы найдете похожие проблемы.
Вы говорите, что хотите «отобразить» A как плавающую точку, почему бы просто не отобразить строку? Визуально это будет идентично тому, что вы ожидаете.
Как упоминал Джон, если ваши потребности - это не просто отображение числа с плавающей запятой, вы должны использовать десятичный модуль для хранения точного представления.