<?= isset($_POST['submit'])? $_POST['name'] : ""; ?>
Это самое короткое, что вы получите, кроме, скажем, <?= $_POST['name']; ?>
(если submit не задано, имя должно быть пустым в любом случае) - вам, вероятно, нужно отключить предупреждения.
Все это, как говорится, очень и очень плохая практика и открывает вам до межсайтовый скриптинг (XSS) . Вы должны НЕ делать это. Даже в интрасети, если злоумышленник когда-либо владеет компьютером, который имеет к нему доступ, он может использовать XSS для выполнения любых действий, которые может выполнить пользователь.
Исходя из вашего вопроса и того, насколько вы испытываете отвращение к этому типу отображения на экране, я бы посоветовал вам использовать некоторую форму библиотеки шаблонов, такую как Smarty . Это позволяет вашему HTML-коду выглядеть так:
<p><input type="text" name="name" value="{name}" /></p>