Вместо использования массива вы должны работать со слайсами.
a := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
b := append(append(a[:1:1], 123), a[4:]...)
Или, если вам не нужно сохранять оригинальные элементы, скопируйте их на место.
a := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
a[1] = 123
copy(a[2:8], a[4:10])
a = a[:8]