Работайте в командной строке (или в редакторе окон, ориентированном на оболочку, таком как Acme или Wily) и используйте sed и awk для преобразования данных, с которыми вы работаете, из их необработанной формы в форматы, в которых вы хотели бы их видеть, или форматы, в которых это нужно другим программам. Поскольку sed и awk используют регулярные выражения для поиска строк для работы (путем сопоставления с шаблоном), вы будете развивать свои навыки одновременно с освоением этих инструментов.
Я предлагаю работать в командной строке, потому что в каждом бите данных и сценариев есть текст, который, чтобы что-то сделать с вами, нужно найти и обработать, часто из гораздо большего файла. Таким образом, вы также можете использовать регулярные выражения grep, чтобы уменьшить количество рассматриваемых строк, но я обычно просто использую
sed -n -e '/regexp/p'
чтобы найти строки, так как я могу обновить его позже с заменой
sed -e '/lineregexp/s,oldregex,newtext,'
Для действительно продвинутого использования вы можете использовать sed для обновления сценариев во время выполнения вместо кодирования в сложных операторах if / case или параметрах командной строки или даже для изменения структуры сценария, но это выходит за рамки этого ответа.
Редактировать: убрал p из второго примера.