Вот решение на Python. Я проверил это на небольшом фальшивом файле, который я составил. Я думаю, что это будет приемлемо быстро даже для большого файла, потому что большая часть работы будет выполняться кодом C внутри Python. И я думаю, что это приятная и простая для понимания программа; Я предпочитаю Python Perl.
import sys
s_usage = """\
Usage: csplit <filename>
Splits input file by columns, writes column 2 to file based on chromosome from column 4."""
if len(sys.argv) != 2 or sys.argv[1] in ("-h", "--help", "/?"):
sys.stderr.write(s_usage + "\n")
sys.exit(1)
# replace these with the actual patterns, of course
lst_pat = [
'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j',
'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't',
'u', 'v', 'w', 'x', 'y'
]
d = {}
for s_pat in lst_pat:
# build a dictionary mapping each pattern to an open output file
d[s_pat] = open("my_out_file_" + s_pat, "wt")
if False:
# if the patterns are unsuitable for filenames (contain '*', '?', etc.) use this:
for i, s_pat in enumerate(lst_pat):
# build a dictionary mapping each pattern to an output file
d[s_pat] = open("my_out_file_" + str(i), "wt")
for line in open(sys.argv[1]):
# split a line into words, and unpack into variables.
# use '_' for a variable name to indicate data we don't care about.
# s_data is the data we want, and s_pat is the pattern controlling the output
_, s_data, _, s_pat, _ = line.split()
# use s_pat to get to the file handle of the appropriate output file, and write data.
d[s_pat].write(s_data + "\n")
# close all the output file handles.
for key in d:
d[key].close()
РЕДАКТИРОВАТЬ: Вот немного больше информации об этой программе, так как кажется, что вы будете использовать ее.
Вся обработка ошибок неявная. Если произойдет ошибка, Python выдаст исключение, которое прекратит обработку. Например, если не удается открыть один из файлов, эта программа прекратит выполнение, и Python напечатает обратную трассировку, показывающую, какая строка кода вызвала исключение. Я мог бы обернуть критические части с помощью блока «попробовать / исключить», чтобы ловить ошибки, но для такой простой программы я не видел никакого смысла.
Это тонко, но есть проверка, есть ли ровно пять слов в каждой строке входного файла. Когда этот код распаковывает строку, он делает это в пять переменных. (Имя переменной "_" является допустимым именем переменной, но в сообществе Python существует соглашение использовать его для переменных, которые вам на самом деле не нужны.) Python выдаст исключение, если на входная строка для распаковки в пять переменных. Если ваш входной файл иногда может содержать четыре слова в строке или шесть или более, вы можете изменить программу, чтобы не вызывать исключение; измените основной цикл следующим образом:
for line in open(sys.argv[1]):
lst = line.split()
d[lst[3]].write(lst[1] + "\n")
Это разбивает строку на слова, а затем просто назначает весь список слов в одну переменную, lst. Так что этой строке кода не важно, сколько слов в строке. Затем следующая строка индексируется в список, чтобы получить значения. Поскольку Python индексирует список, используя для начала 0, второе слово - lst[1], а четвертое слово - lst[3]. Пока в списке есть как минимум четыре слова, эта строка кода также не будет вызывать исключение.
И, конечно, если четвертого слова в строке нет в словаре файловых дескрипторов, Python также вызовет исключение для этого. Это остановит обработку. Вот некоторый пример кода для того, как использовать блок «попробовать / исключить» для обработки этого:
for line in open(sys.argv[1]):
lst = line.split()
try:
d[lst[3]].write(lst[1] + "\n")
except KeyError:
sys.stderr.write("Warning: illegal line seen: " + line)
Удачи в вашем проекте.
РЕДАКТИРОВАТЬ: @larelogio указал, что этот код не соответствует коду AWK. В коде AWK есть дополнительный цикл for, который я не понимаю. Вот код Python для того же:
for line in open(sys.argv[1]):
lst = line.split()
n = int(lst[1])
for i in range(n, n+53):
d[lst[3]].write(i + "\n")
А вот еще один способ сделать это. Это может быть немного быстрее, но я не проверял это, поэтому я не уверен.
for line in open(sys.argv[1]):
lst = line.split()
n = int(lst[1])
s = "\n".join(str(i) for i in range(n, n+53))
d[lst[3]].write(s + "\n")
Это строит одну строку со всеми числами для записи, а затем записывает их в один блок. Это может сэкономить время по сравнению с .write() 53 раза.