Импорт CSV-файла с более чем 1024 столбцами в новую таблицу SQL Server

Question

Я пытаюсь загрузить данные из CSV-файла в SQL Server размером 2 ГБ и более 10000 столбцов.Пожалуйста, дайте мне знать, как загрузить данные с более чем 1024 столбцами в SQL Server.

Я пытался сделать с помощью мастера импорта / экспорта, он выдал ниже ошибка

Ошибка 0xc002f210: ПодготовкаЗадача SQL 1: выполнить запрос «CREATE TABLE [dbo]. [Test] ([ID] varchar (50) ...») со следующей ошибкой:
«Ошибка CREATE TABLE, поскольку столбец« B19037Dm38 »в таблице»Test 'превышает максимум 1024 столбца. ".
Возможные причины сбоя: проблемы с запросом, свойство ResultSet установлено неправильно, параметры установлены неправильно или соединение установлено неправильно.

Answer 1

Может быть, вам нужно транспонировать свои данные и представлять столбцы в виде строк, а строки - в виде столбцов.

Или как alroc говорит, что вы можете разбить его на несколько таблиц и разделить ключ между этими таблицами.10 таблиц с 1024 столбцами, первая таблица будет иметь первичный ключ, а все остальные таблицы будут иметь внешний ключ к этой таблице.

Кроме того, даже не зная, как выглядят ваши данные, сложно комментировать дальше.Возможно, вам лучше всего подойдет нормализация через пакет служб SSIS.

Answer 2

Вы можете создать "широкую таблицу" , но она имеет свои ограничения и ограничения.Вы, вероятно, не сможете использовать мастера для этого;если вы хотите, чтобы пакет служб SSIS делал это регулярно (именно это и делает мастер), вам придется извлечь Visual Studio и собрать его.

Вместо этого я бы посоветовал вам преобразовать данныев более нормализованную форму с большим количеством таблиц и меньшим количеством столбцов на таблицу.Или рассмотрите возможность того, что ваши данные вообще не вписываются в эту модель, и вместо этого используйте платформу «больших данных», такую ​​как Hadoop или другая база данных NoSQL.