Создать таблицу MySQL непосредственно из файла CSV, используя механизм хранения CSV?

Question

Я только что узнал, что Mysql имеет собственный CSV-механизм хранения , который хранит данные в файле значений, разделенных запятыми для каждой таблицы.

Можно ли создать таблицу непосредственно из загруженного файла CSVфайл, что-то вроде:

CREATE TABLE USERS

, где users.csv загружен пользователем?

Answer 1

Только что обнаружен csvkit , который представляет собой набор инструментов командной строки Unix для файлов CSV. Установлен на мой Mac с pip install csvkit и команда была:

 csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql

В качестве альтернативы вы можете указать строку подключения к БД, и она может загрузить таблицу напрямую.

Answer 2

Это невозможно.Для создания таблицы вам нужна схема таблицы.У вас есть файл данных.Схема не может быть создана с ним.Что вы можете сделать, это проверить, есть ли в вашем файле строка заголовка.В этом случае вы можете создать таблицу, используя эту строку заголовка, но вручную.

Однако есть способ сгенерировать оператор создания таблицы с помощью пакетного файла, как описано Джоном Свапчински в разделе комментариев руководства MySQL .

Автор John Swapceinski, 5 сентября 2011 г., 5:33 .
Создайте таблицу, используя заголовок файла .csv:

#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"

Answer 3

Я знаю, что это немного устарело как тема, но есть более простой способ - ЕСЛИ - вы используете phpmyadmin в качестве вашего интерфейса для mysql.

1) Создайте базу данных с настройками по умолчанию.

2) Выберите базу данных.

3) Нажмите «Импорт» в верхней части экрана.

4) Выберите CSV в разделе «Формат».

5) Выберите параметры, соответствующие вашему CSV-файлу (откройте файл CSV в текстовом редакторе и укажите его, чтобы получить «подходящие» параметры).

Если вы все испортили, не проблема, просто отбросьте базу данных и попробуйте снова.

Answer 4

Я рекомендую использовать MySQL Workbench, где находится импорт данных.Workbench позволяет пользователю создавать новую таблицу из файла в формате CSV или JSON.Он обрабатывает схему таблиц и импорт данных всего за несколько кликов с помощью мастера.

В MySQL Workbench, используйте контекстное меню в списке таблиц и нажмите Table Data Import Wizard.

* 1007.*

Больше из MySQL Workbench 6.5.1 Документация мастера экспорта и импорта табличных данных Документация. Загрузите MySQL Workbench здесь .

Answer 5

В дополнение к другим упомянутым решениям пользователи Mac могут захотеть отметить, что SQL Pro имеет опцию импорта CSV, которая работает довольно хорошо и гибка - вы можете изменять имена столбцов и типы полей при импорте. Выберите новую таблицу, иначе начальный диалог может показаться несколько удручающим.

SQL Pro: http://www.sequelpro.com Sequel Pro - приложение для управления базами данных для работы с базами данных MySQL

Answer 6

Это то, что мне помогло.Просто добавьте CSV-файл, и все готово.

http://www.convertcsv.com/csv-to-sql.htm

Answer 7

Я принял скрипт из shiplu.mokadd.im под свои нужды. Кого это интересует:

#!/bin/bash
if [ "$#" -lt 2 ]; then
    if [ "$#" -lt 1 ]; then 
        echo "usage: $0 [path to csv file] <table name> > [sql filename]"
        exit 1
    fi
    TABLENAME=$1
else
    TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"

Answer 8

если кто-то ищет php solutin:

Пакет: https://github.com/uzi88/PHP_MySQL_wrapper

$db = new MySQL_wrapper(MySQL_HOST, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect(); 

// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');

// this sample generates column names 
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');

/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
 * @param   string      $file           - CSV File path
 * @param   string      $table          - Table name
 * @param   string      $delimiter      - COLUMNS TERMINATED BY (Default: ',')
 * @param   string      $enclosure      - OPTIONALLY ENCLOSED BY (Default: '"')
 * @param   string      $escape         - ESCAPED BY (Default: '\')
 * @param   integer     $ignore         - Number of ignored rows (Default: 1)
 * @param   array       $update         - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
 * @param   string      $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
 * @param   string      $newLine        - New line delimiter (Default: \n)
 * @return  number of inserted rows or false
 */
// function createTableFromCSV($file, $table, $delimiter = ',', $enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')

$db->close();

Answer 9

Плагин MySQL для Excel может помочь вам.

http://dev.mysql.com/doc/refman/5.6/en/mysql-for-excel.html

Откройте файл CSV в Excel. Вы можете использовать этот плагин для экспорта данных Excel в новую таблицу удаленного или локального сервера MySQL. Он проанализирует ваши данные (от 100 до 1000 строк) и создаст соответствующую схему таблицы.

Answer 10

Я сделал инструмент командной строки Windows, который делает именно это.

Вы можете скачать его здесь: http://commandline.dk/csv2ddl.htm

Использование:

C:\Temp>csv2ddl.exe mysql test.csv test.sql

Или

C:\Temp>csv2ddl.exe mysql advanced doublequote comma test.csv test.sql