Самый простой способ - создать форму базового класса, от которой наследуются все ваши формы. В этом конкретном классе вы можете переопределить метод OnClosed и вызвать Application.Exit для выхода из программы. Теперь закрытие любой формы в вашем приложении, которая вытекает из этой формы, приведет к выходу приложения
Public MustInherit Class MyForm
Inherits Form
Protected Overrides Sub OnClose(args As EventArgs)
Application.Exit()
End Sub
End Class