Контекст по умолчанию - MathContext.DECIMAL128, который используется во всех вычислениях, поэтому в вашем примере результат num / den уже округлен до 128 мест. Вам необходимо сначала установить свой контекст для всех значений, а затем выполнить вычисления.
val mc = new MathContext(512)
val num = BigDecimal(1.0,mc)
val den = BigDecimal(3.0,mc)
println(num/den)
Не пытайтесь использовать MathContext.UNLIMITED, если вы не знаете, что ваша арифметика не приводит к неограниченному десятичному представлению. Он взорвется даже прежде, чем вы попытаетесь распечатать.