извлекать n строк каждые i строк - PullRequest
0 голосов
/ 19 февраля 2019

Я новичок в области анализа данных.У меня есть очень большой файл данных, который содержит миллионы строк, но повторяется в тех же шаблонах (время 100 шагов).Мне нужно извлечь блоки, образованные 100 строк каждые 10000 строк.Таким образом, я бы отбросил те же самые бесполезные данные.

Заранее спасибо

Ответы [ 2 ]

0 голосов
/ 19 февраля 2019

awk на помощь!

$ awk '(NR-1)%10000<100'
0 голосов
/ 19 февраля 2019

Может быть что-то вроде:

awk 'NR % 10000 == 0 { line = 0 } line++ < 100' input.txt

добьется цели.

...