Ваш протокол всегда можно использовать так, как вы этого не ожидаете.Например, программа может быть запущена кем-то, работающим в системе ARM или Sun.
Поскольку обычно предполагается, что значения, передаваемые по сети, будут иметь порядок байтов в сети, лучше конвертировать значения перед отправкой.Любое влияние на производительность будет незначительным и будет считаться преждевременной оптимизацией.