Вы забыли указать масштаб.
Ниже приведено объявление для метода BigDecimal.divide () .
публичное деление BigDecimal (делитель BigDecimal,int scale, RoundingMode roundingMode)
Если указать шкалу 8, вы получите желаемый ответ: 0.00006748
BigDecimal numberOfCoinsToTransfer = amount.divide(new BigDecimal
(coinRateInUSDWalletTo),8, RoundingMode.HALF_UP);