программа на python для доступа к значениям из CSV-файлов и сохранения их в базе данных с помощью wamp

Question

Я новичок в Python и WampServer . Я хочу получить значения из CSV-файлов (более 10 ГБ) и после некоторой обработки сохранить их в базе данных MySQL с использованием Wamp.

Я установил Python и Django на Wamp-сервер и проверил предыдущие посты, но так как я новичок в этой области, я от них мало что получаю.

Может кто-нибудь предложить соответствующие ресурсы для начинающего, как я? Я уже изучил Python Power! Всеобъемлющее руководство , но я многого от него не получил. Любая помощь будет оценена.

Answer 1

Вы можете читать данные из файлов CSV, используя встроенный модуль csv . Например:

>>> import csv
>>> open('test.csv','w').write('1,one\n2,two\n3,three\n')
>>> list(csv.reader(open('test.csv')))
[['1', 'one'], ['2', 'two'], ['3', 'three']]

Вы можете записывать данные в MySQL, используя пакет MySQL-python , который соответствует API базы данных Python и здесь задокументировано . Например, после установки этого пакета вы можете сделать следующее:

>>> import MySQLdb
>>> conn = MySQLdb.connect(host, user, passwd, db)
>>> cursor = conn.cursor()
>>> cursor.executemany('INSERT INTO numbers (value, name) VALUES (%, %)',
...                    [['1', 'one'], ['2', 'two'], ['3', 'three']])
... 
>>> cursor.commit()

Однако, если вы используете Django для управления базой данных, вам может быть лучше использовать собственный интерфейс базы данных Django, например Model.save, чтобы сохранить экземпляр модели в базе данных.