Что мне делать с этим набором данных CSV, который я только что скачал с dbpedia? - PullRequest
1 голос
/ 16 июня 2009

Я только что загрузил этот CSV инфобоксов Википедии из dbpedia. Однако я понятия не имею, как его использовать: -S Я хочу импортировать все эти данные в базу данных, но не уверен, как их взять отсюда. Я скачал его с http://wiki.dbpedia.org/Downloads32#infoboxes

Я работаю в Php


Просто для записи - этот CSV-файл составляет около 1,8 ГБ. Я на самом деле переживаю все эти неприятности просто для того, чтобы получить отобранный набор инфобоксов из отобранного набора статей из википедии. Я сделал бы это вручную, за исключением того, что мне нужны информационные ящики для более чем 10 000 записей, которые включают страны и города. Я просто ищу простой способ сделать это и, честно говоря, использую все мои варианты: (

Ответы [ 2 ]

3 голосов
/ 16 июня 2009

Для импорта данных CSV в MySQL вы можете использовать оператор LOAD DATA INFILE , например,

LOAD DATA LOCAL INFILE '/importfile.csv'
INTO TABLE test_table
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(field1, filed2, field3); 

Иногда такие данные могут нуждаться в небольшом массировании, нетрудно написать скрипт на Perl или аналогичный, чтобы анализировать файл построчно и выплевывать операторы SQL.

1 голос
/ 16 июня 2009

Если вы хотите помассировать данные перед их импортом, вы можете взглянуть на мой редактор потоков CSV, CSVfix - это FOSS. Он также может генерировать операторы SQL INSERT для вашей базы данных, если по какой-то причине массовая загрузка данных в базу данных CSV вас не устраивает.

...