Как разделить файл с определенными условиями для каждой конечной строки каждого файла - PullRequest
Новая
       35

Как разделить файл с определенными условиями для каждой конечной строки каждого файла

0 голосов
/ 23 июня 2019

У меня есть файл .txt, подобный следующему: 

2019-03-29 12:03:07 line1 
                    line2
                    line3
                    ....
2019-03-30 07:05:09 line1
                    line2
                    ....
2019-03-31 10:03:20 line1
                    line2
                    ....

Я разбил файл на несколько файлов, например: 

inputData = 'dirname\..'
numThrd  = 3
def chunkFiles():
    nline = sum(1 for line in open(inputData,'r', encoding='utf-8', errors='ignore'))
    chunk_size = math.floor(nline/int(numThrd))
    n_thread = int(numThrd)
    j = 0
    with open(inputData,'r', encoding='utf-8', errors='ignore') as fileout:
        for i, line in enumerate(fileout):
            if (i + 1 == j * chunk_size and j != n_thread) or i == nline:
                out.close()
            if i + 1 == 1 or (j != n_thread and i + 1 == j * chunk_size):
                chunkFile = 'rawData' + str(j+1) + '.txt'
                if os.path.isfile(chunkFile ):
                    break
                out = open(chunkFile , 'w+', encoding='utf-8', errors='ignore')
                j = j + 1
                fLine = line[:-1]
                if not matchLine:
            if out.closed != True:
                out.write(line)
            if i % 1000 == 0 and i != 0:
                print ('Processing line %i ...' % (i))

Однако я хочу, чтобы разделенный файл соответствовалусловие, что последняя строка в файле чанка должна быть прямо перед строкой с датой.

последние выходные данные, которые я получил: 

rawData1.txt
2019-03-29 12:03:07 line1
                    line2
                    ....
-------------------------
rawData2.txt
                    line50
                    line51
2019-03-30 07:05:09 line1
                    line2
                    .....

Желаемый вывод: 

rawData1.txt
2019-03-29 12:03:07 line1 
                    line2
                    line3
                    ....
-------------------------
rawData2.txt
2019-03-30 07:05:09 line1
                    line2
                    ....

что я должен добавить к приведенному выше сценарию, чтобы выполнить эти условия?

Большое спасибо

1 Ответ

1 голос
/ 23 июня 2019

Вы можете получить желаемый результат, используя список для хранения строк, которые вы хотите написать (см. Ниже). 

def write_chunk(filename, chunk):
    with open(filename, "w") as out:
        for i in chunk:
            out.write(i)

chunk = []
n_chunk = 1

with open("data.txt") as f:
    for line in f:
        if not line[0].isspace() and chunk:
            write_chunk("{}.txt".format(n_chunk), chunk)
            chunk = []
            n_chunk += 1
        chunk.append(line)
# write final chunk
write_chunk("{}.txt".format(n_chunk), chunk)
...