Задержка UDP будет зависеть больше от сети, через которую вы передаете трафик, чем от локальной конфигурации. Небольшой размер буфера будет означать, что вы будете отбрасывать пакеты чаще для потоков с высокой пропускной способностью, но это технически не является проблемой задержки. Задержка будет зависеть от того, насколько быстро вы можете извлекать пакеты из буфера, что будет незначительным.