читать каждые 25 строк CSV-файла и переходить к списку с помощью Python - PullRequest
Новая
       21

читать каждые 25 строк CSV-файла и переходить к списку с помощью Python

0 голосов
/ 20 июня 2019

Я хочу прочитать файл и преобразовать каждые 25 строк этого файла в список, то есть он должен иметь 4 списка по 25 элементов в каждом (на 100 строк файла).Я не могу получить код для этой проблемы.Входной файл выглядит так, на самом деле он имеет 100 строк: 

{'PutRequest': {'Item': {'id': {'S': 'E1DBEAE3'}, 'value': {'M': {'result': {'N': u'0.0015'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': '31C6C'}, 'value': {'M': {'result': {'N': u'0.1129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': '59D40'}, 'value': {'M': {'result': {'N': u'0.00129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': 'A2A9'}, 'value': {'M': {'result': {'N': u'0.05129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}

Кроме того, я хочу добавить и добавить строку к самому первому элементу и последнему элементу каждого списка соответственно, добавить строку как: 

'{"test":[' and append string like: ']}'

После добавления и добавления он должен выглядеть как список размером 3, например: 

{"test":[{'PutRequest': {'Item': {'id': {'S': 'E1DBEAE3'}, 'value': {'M': {'result': {'N': u'0.0015'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': '31C6C'}, 'value': {'M': {'result': {'N': u'0.1129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': '59D40'}, 'value': {'M': {'result': {'N': u'0.00129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}
{'PutRequest': {'Item': {'id': {'S': 'A2A9'}, 'value': {'M': {'result': {'N': u'0.05129'}, 'lastupdatedtime': {'S': '2019-06-20'}}}}}}]}

Я пробовал этот код: 

from itertools import islice
list =[]
with open('output_of_json.json', 'r') as infile:
    lines_gen = islice(infile, 25)
    for line in lines_gen:
        list.append(line)

Невозможно пройти первые 25 строк файла

Ответы [ 2 ]

0 голосов
/ 20 июня 2019

Посмотрите на функцию grouper в рецептах itertools . 

import itertools

def grouper(iterable, n, fillvalue=None):
    "Collect data into fixed-length chunks or blocks"
    # grouper('ABCDEFG', 3, 'x') --> ABC DEF Gxx"
    args = [iter(iterable)] * n
    return itertools.zip_longest(*args, fillvalue=fillvalue)

from itertools import islice
list =[]
with open('output_of_json.json', 'r') as infile:
    lines_gen = grouper(infile, 25, fillvalue='')
    for line in lines_gen:
        # whatever you want to do

Обратите внимание, что если последний блок строк содержит менее 25 строк, этот код заполнит 25с пустыми строками.

0 голосов
/ 20 июня 2019

Это можно сделать функцией.Это логично, что вы хотите.Вы можете использовать перечисление, чтобы очистить его. 

with open(filename,'r') as f:

    counter = 25
    iteration = -1
    out_dict = {}            

    for i in f.readlines():

        if counter == 25:

            if out_dict[iteration]:

                # append your list
                out_dict[iteration].append('string here')

            counter = 0
            iteration += 1

            # create new instance and pre-pend
            out_dict[iteration] = ['string here']

        out_dict[iteration].append(i)
...