Я пытаюсь смоделировать некоторый код, который у меня работает с SQL, но вместо этого используется весь Python .. С какой-то помощью здесь Словарь CSV в Python со всеми именами столбцов?
Iтеперь могу прочитать мой zip-csv файл в dict Только одна строка, последняя.(как мне получить образец строк или весь файл данных?)
Я надеюсь, что у меня будет резидентная таблица памяти, которой я смогу манипулировать так же, как sql, когда я закончу, например, Очистить данные путем сопоставления неверных данныхв другую таблицу с неверными данными и правильными записями .. затем сумма по типу средняя по периоду времени и т. п. Всего файл данных составляет около 500 000 строк .. Я не смущаюсь, чтобы получить все в памяти, но хочу решитьВ общем случае, как я могу, опять же, чтобы я знал, что можно сделать, не прибегая к SQL
import csv, sys, zipfile
sys.argv[0] = "/home/tom/Documents/REdata/AllListing1RES.zip"
zip_file = zipfile.ZipFile(sys.argv[0])
items_file = zip_file.open('AllListing1RES.txt', 'rU')
for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
pass
# Then is my result is
>>> for key in row:
print 'key=%s, value=%s' % (key, row[key])
key=YEAR_BUILT_DESC, value=EXIST
key=SUBDIVISION, value=KNOLLWOOD
key=DOM, value=2
key=STREET_NAME, value=ORLEANS RD
key=BEDROOMS, value=3
key=SOLD_PRICE, value=
key=PROP_TYPE, value=SFR
key=BATHS_FULL, value=2
key=PENDING_DATE, value=
key=STREET_NUM, value=3828
key=SOLD_DATE, value=
key=LIST_PRICE, value=324900
key=AREA, value=200
key=STATUS_DATE, value=3/3/2011 11:54:56 PM
key=STATUS, value=A
key=BATHS_HALF, value=0
key=YEAR_BUILT, value=1968
key=ZIP, value=35243
key=COUNTY, value=JEFF
key=MLS_ACCT, value=492859
key=CITY, value=MOUNTAIN BROOK
key=OWNER_NAME, value=SPARKS
key=LIST_DATE, value=3/3/2011
key=DATE_MODIFIED, value=3/4/2011 12:04:11 AM
key=PARCEL_ID, value=28-15-3-009-001.0000
key=ACREAGE, value=0
key=WITHDRAWN_DATE, value=
>>>
Я думаю, что я лаю несколько неправильных деревьев здесь ... Во-первых, у меня есть толькоОдна строка из моего файла данных размером около 500 000 строк. Во-вторых, кажется, что dict может быть неправильной структурой, поскольку я не думаю, что могу просто загрузить все 500 000 строк и выполнить с ними различные операции.Как ... Сумма по группе и дате ... плюс кажется, что дублированные ключи могут вызывать проблемы, т.е. неуникальные дескрипторы, такие как округ и подразделение.
Я также не знаю, как прочитать конкретное небольшое подмножество строкив память (например, 10 или 100 для тестирования, перед загрузкой всего (что я тоже не получаю ...), я прочитал документы и несколько справочников по Python, но он просто еще не нажимал ..
Кажется, что большинство ответов, которые я могу найти, предполагают использование различных SQL-решений для такого рода вещей, но я стремлюсь изучить основы достижения аналогичных результатов с Python. Как в некоторых случаях я думаю, что это будет легчеи быстрее, а также расширить свой набор инструментов. Но мне трудно найти соответствующие примеры.
один ответ, который намекает на то, что я получаю, это:
Как только чтение выполнено правильно, DictReader должен работать для получения строк в виде словарей, типичной структуры, ориентированной на строки. Как ни странно, это обычно не эффективный способобрабатывать запросы, как у вас;наличие только списков столбцов значительно облегчает поискОриентация строк означает, что вам нужно переделать некоторую поисковую работу для каждого ряда.Такие вещи, как сопоставление дат, требуют данных, которые, безусловно, отсутствуют в CSV, например, как даты представлены и какие столбцы являются датами.
Пример получения структуры данных, ориентированной на столбцы (однако, включает загрузку всего файла):
import csv
allrows=list(csv.reader(open('test.csv')))
# Extract the first row as keys for a columns dictionary
columns=dict([(x[0],x[1:]) for x in zip(*allrows)])
The intermediate steps of going to list and storing in a variable aren't necessary.
The key is using zip (or its cousin itertools.izip) to transpose the table.
Then extracting column two from all rows with a certain criterion in column one:
matchingrows=[rownum for (rownum,value) in enumerate(columns['one']) if value>2]
print map(columns['two'].__getitem__, matchingrows)
When you do know the type of a column, it may make sense to parse it, using appropriate
functions like datetime.datetime.strptime.
через Яна Вернье
Наверняка есть хорошая ссылка на эту общую тему?