В зависимости от того, какой механизм вы используете, с точки зрения кода, вы можете недостаточно быстро захватывать пакеты. Это может привести к падению многоадресных данных, что по своей природе ненадежно.
Без дополнительной информации об используемом механизме трудно дать вам более конкретный совет.
Обновление на основе комментариев:
Если у вас есть поток на приемник и больше потоков, чем у процессоров, возможно, вы переподписываете свои потоки, что вызывает много дорогостоящего переключения контекста. Это может привести к сбросу пакетов.