В вашем коде b всегда сбрасывается на [1,2,3,4] внутри цикла, а затем к нему добавляется новый номер, следовательно, это дает нам иллюзию, что он заменяет старый номер.
b должно быть инициализировано вне цикла:
b=[1,2,3,4]
while True:
a = int(input ("Enter number "))
b.append(a)
Примечание: в настоящее время это бесконечный цикл.Вы можете подумать о состоянии выхода.