Причина, по которой вы получаете сообщение об ошибке, заключается в том, что вы пытаетесь добавить дополнительный файл. Измените его на a[“a”]?.append([0.1, 0.2])
Для ожидаемого результата вы должны сделать
var a: [String: [[Double]]] = [:]
a["a"] = []
a["a"]?.append([0.1, 0.2])
a["a"]?.append([0.2, 0.3])
И еще один способ сделать это
var a: [String: [[Double]]] = [:]
a["a"] = [[0.1, 0.2], [0.2, 0.3]]