Поскольку вы используете статический путь как
app.use(express.static(path.join(__dirname,'dist/my-app')));
, ваше изображение должно быть в папке dist/my-app/images вместо src/images, чтобы иметь возможность доступа к нему без перезапуска сервера.
Может потребоваться логика для сохранения изображения в папке dist/my-app/images вместо src/images в производственной среде.
Причина, по которой он работает после выполнения ng build, заключается в том, что он создает требуемый файл икопирует все изображения в папку dist/my-app, поэтому после выполнения операции ng build новое изображение успешно копируется в папку dist и, таким образом, оно становится доступным для вашего приложения.