Неверный вывод сценария AWK - дубликаты в столбце

Question

Я пытаюсь извлечь описание нескольких файлов сценариев и включить имя файла сценария в описание.Моя проблема в том, что команда создает несколько дубликатов имени файла в первом столбце.Не могли бы вы посоветовать, как удалить дубликаты?

Также я бы скопировал этот код из stackoverflow и изменил его, но я не понимаю его на 100%.Буду признателен, если вы сможете объяснить, что делает gsub и каковы функции $0, e=1 и e==1.

Мой код

awk '/\]\]/{e=0}/description\ =\ \[\[/{gsub("^.*description ","",$0);e=1}{if(e==1){print FILENAME, $0}}' file

Ввод

local stdnse    = require "stdnse"
local shortport = require "shortport"
local tn3270    = require "tn3270"
local brute     = require "brute"
local creds     = require "creds"
local unpwdb    = require "unpwdb"
local nmap = require "nmap"
local string = require "string"

description = [[
TSO User ID enumerator for IBM mainframes (z/OS). The TSO logon panel
tells you when a user ID is valid or invalid with the message:
 <code>IKJ56420I Userid <user ID> not authorized to use TSO</code>.

The TSO logon process can work in two ways:
1) You get prompted with <code>IKJ56700A ENTER USERID -</code>
   to which you reply with the user you want to use.
   If the user ID is valid it will give you a normal
   TSO logon screen. Otherwise it will give you the
   screen logon error above.
2) You're given the TSO logon panel and enter your user ID
   at the <code>Userid    ===></code> prompt. If you give
   it an invalid user ID you receive the error message above.

This script relies on the NSE TN3270 library which emulates a
TN3270 screen for NMAP.

TSO user IDs have the following rules:
 - it cannot begin with a number
 - only contains alpha-numeric characters and @, #, $.
 - it cannot be longer than 7 chars
]]

---
-- @args tso-enum.commands Commands in a semi-colon seperated list needed
-- to access TSO. Defaults to <code>tso</code>.
--
-- @usage
-- nmap --script=tso-enum -p 23 <targets>
--
-- @usage
-- nmap -sV -p 9923 10.32.70.10 --script tso-enum --script-args userdb=tso_users.txt,tso-enum.commands="logon applid(tso)"

Фактический вывод

tso-enum.nse = [[
tso-enum.nse TSO User ID enumerator for IBM mainframes (z/OS). The TSO logon panel
tso-enum.nse tells you when a user ID is valid or invalid with the message:
tso-enum.nse  <code>IKJ56420I Userid <user ID> not authorized to use TSO</code>.
tso-enum.nse 
tso-enum.nse The TSO logon process can work in two ways:
tso-enum.nse 1) You get prompted with <code>IKJ56700A ENTER USERID -</code>
tso-enum.nse    to which you reply with the user you want to use.
tso-enum.nse    If the user ID is valid it will give you a normal
tso-enum.nse    TSO logon screen. Otherwise it will give you the
tso-enum.nse    screen logon error above.
tso-enum.nse 2) You're given the TSO logon panel and enter your user ID
tso-enum.nse    at the <code>Userid    ===></code> prompt. If you give
tso-enum.nse    it an invalid user ID you receive the error message above.
tso-enum.nse 
tso-enum.nse This script relies on the NSE TN3270 library which emulates a
tso-enum.nse TN3270 screen for NMAP.
tso-enum.nse 
tso-enum.nse TSO user IDs have the following rules:
tso-enum.nse  - it cannot begin with a number
tso-enum.nse  - only contains alpha-numeric characters and @, #, $.
tso-enum.nse  - it cannot be longer than 7 chars

Желаемый вывод

tso-enum.nse  
 description = [[
    TSO User ID enumerator for IBM mainframes (z/OS). The TSO logon panel
    tells you when a user ID is valid or invalid with the message:
     <code>IKJ56420I Userid <user ID> not authorized to use TSO</code>.

    The TSO logon process can work in two ways:
    1) You get prompted with <code>IKJ56700A ENTER USERID -</code>
       to which you reply with the user you want to use.
       If the user ID is valid it will give you a normal
       TSO logon screen. Otherwise it will give you the
       screen logon error above.
    2) You're given the TSO logon panel and enter your user ID
       at the <code>Userid    ===></code> prompt. If you give
       it an invalid user ID you receive the error message above.

    This script relies on the NSE TN3270 library which emulates a
    TN3270 screen for NMAP.

    TSO user IDs have the following rules:
     - it cannot begin with a number
     - only contains alpha-numeric characters and @, #, $.
     - it cannot be longer than 7 chars
    ]]

Answer 1

Понимание

С этими блоками автор определяет диапазон, переключая флаг e, когда входит / выходит из указанного диапазона:

# end of range
/\]\]/ {
    e = 0
}

# start of range
/description = \[\[/ {
    gsub("^.*description ", "", $0)
    e = 1
} 

Функция строки gsub заменяет любое вхождение первого аргумента вторым аргументом, найденным в третьем аргументе.В этом случае регулярное выражение "^.*description " соответствует началу $0, текущей записи (в данном случае запись представляет собой строку ), вплоть до строки descriptionи заменяя его пустой строкой, удаляя ее, оставляя строку с фактическим описанием.

Последний блок ниже просто печатает строку и FILENAME, если она находится в диапазоне описания:

{
    if (e == 1) {
        print FILENAME, $0
    }
}

---

Модификация

Необходимые модификации - это печать FILENAME в начале диапазона, отступ строк в пределах диапазона и изменение порядка блоков:

# end range
/\]\]/ {
    e = 0
}

# in range
e == 1 {
    printf "\t%s\n", $0
}

# start range
/description = \[\[/ {
    print FILENAME
    e = 1
}

Я удалил бесполезные (по крайней мере, для выборочных данных) gsub() вызов.

Вызов:

$ awk -f script.awk data.txt

Выход:

data.txt
        TSO User ID enumerator for IBM mainframes (z/OS). The TSO logon panel
        tells you when a user ID is valid or invalid with the message:
         <code>IKJ56420I Userid <user ID> not authorized to use TSO</code>.

        The TSO logon process can work in two ways:
        1) You get prompted with <code>IKJ56700A ENTER USERID -</code>
           to which you reply with the user you want to use.
           If the user ID is valid it will give you a normal
           TSO logon screen. Otherwise it will give you the
           screen logon error above.
        2) You're given the TSO logon panel and enter your user ID
           at the <code>Userid    ===></code> prompt. If you give
           it an invalid user ID you receive the error message above.

        This script relies on the NSE TN3270 library which emulates a
        TN3270 screen for NMAP.

        TSO user IDs have the following rules:
         - it cannot begin with a number
         - only contains alpha-numeric characters and @, #, $.
         - it cannot be longer than 7 chars