У меня есть файл PCAP, который я хочу прочитать с помощью команды tshark, но он слишком велик, чтобы поместиться в память (9 ГБ, но чтение каждого пакета заполняет 35 ГБ Google Colab после примерно 30 миллионов пакетов).
Поэтому я хотел бы разделить его на четыре части, которые я могу читать и обрабатывать отдельно. Я попытался разделить его, отфильтровав время кадра, используя строку ниже. Однако при этом продолжается сканирование всех пакетов, поэтому это занимает слишком много времени.
!tshark -Y "(tcp or udp) && (frame.time <= \"2019-10-21 05:00:01\")" -r $file_name -l -T fields -e $FIELDS
Каков наилучший способ обработки файла PCAP, который слишком велик для памяти? Как я могу разделить его без потери пакетов?