Вы можете сделать публичные выражения Form3 и FormMain открытыми в модуле.Выполняя тест, чтобы увидеть, что в данный момент выполняется, вы можете проверить, используется ли форма в данный момент
Public newFrm3 as Form3
Public newFrmMain as FormMain
'blah blah blah
If IsNothing(Form3) then
'form is closed, create new
newFrm3 = new Form3
newFrm3.Show
Else
'form is currently running, display message etc to alert user.
End If
Это предполагает, что, когда пользователь закрыл форму, вы устанавливаете для его соответствующей переменной значениеНичего.