Таблица SQL для записи Delphi с использованием BCP - PullRequest
Новая
       2

Таблица SQL для записи Delphi с использованием BCP

0 голосов
/ 20 декабря 2011

У меня есть сценарий, в котором мне нужно экспортировать данные около 500 000 записей из таблицы SQL для использования в приложении Delphi.Данные должны быть загружены в упакованную запись.Есть ли способ, с помощью которого я могу использовать BCP для записи файла данных, аналогичного записи файлов в файл.

На данный момент я загружаю данные, используя этот псевдокод. 

    // Assign the data file generated from BCP to the TextFile object.
    AssignFile(losDataFile, loslFileName);
    Reset(losDataFile);
    while not EOD(losDataFile) do
    begin
      // Read from the data file until we encounter the End of File
      ReadLn(losDataFile, loslDataString);

      // Use the string list comma text to strip the fields
      loclTempSlist.CommaText := loslDataString;

      // Load the record from the items of the string list.
      DummyRec.Name := loclTempSList[0];
      DummyRec.Mapped = loclTempSList[1] = 'Y';
    end;

Для удобства я перечислил тип Dummy rec ниже 

    TDummyRec = packed record
      Name : string[255];
      Mapped : Boolean;
    end;

Итак, мой вопрос, вместо того, чтобы экспортировать данные в текстовый файл, можно ли будет экспортировать данные в двоичный файл, чтобычто я могу читать из файла напрямую, используя тип записи?

как 

   loclFileStream := TFileStream.Create('xxxxxx.dat', fmOpenRead or fmShareDenyNone);
   while loclFileStream.Position < loclFileStream.Size do
   begin
     // Read from the binary file
     loclFileStream.Read(losDummyData, SizeOf(TDummyRec));
     //-  -------- Do wat ever i want.
   end;

У меня нет большого опыта использования BCP.Пожалуйста, помогите мне с этим.

Спасибо Терминатор ...

Ответы [ 2 ]

1 голос
/ 20 декабря 2011

В вашей записи string[255] создаст строку Ansi фиксированного размера (то есть так называемую shortstring). Этот тип явно устарел и не должен использоваться в вашем коде.

Это будет ужасная трата пространства, чтобы сохранить его напрямую, используя TFileStream (даже если он будет работать). Каждая запись будет хранить 256 байтов для каждого имени.

И использование string[255] (то есть так называемое shortstring) сделает скрытое преобразование в строку для большей части доступа к ней. Так что это не самый лучший вариант, ИМХО.

Мой совет: использовать динамический массив, а затем сериализовать / десериализовать его с нашими классами Open Source. Для вашего хранилища вы можете использовать динамический массив. Работает с Delphi 5 до XE2. И вы сможете использовать string в записи: 

TDummyRec = packed record
  Name : string; // native Delphi string (no shortstring)
  Mapped : Boolean;
end;

Изменить после комментария ОП:

BCP - это просто инструмент командной строки, предназначенный для экспорта множества строк в таблицу SQL. Так что ИМХО БКП не является подходящим кандидатом для вашей цели.

Похоже, вам нужно импортировать много строк из таблицы SQL.

В этом случае:

  • Использование shortstring во всех случаях будет пустой тратой памяти, поэтому вы получите быстрее из памяти, чем при использовании хорошего string;
  • Вы можете попробовать наши классы с открытым исходным кодом, чтобы получить все строки данных одну за другой, а затем заполнить свои записи, используя эти данные: см. SynDB классы - он легче, чем ADO; Затем вы сможете извлекать данные записи один за другим, а затем использовать наши функции сериализации записей для создания некоторого двоичного содержимого - или попробовать специальный более быстрый механизм, такой как SynBigTable ;
  • Здесь есть несколько статей об использовании напрямую функции OleDB, используемой BCP, из кода Delphi - это на французском языке, но вы можете использовать Google для перевода и здесь для быстрого массового копирования ; полный исходный код включен.
0 голосов
/ 21 декабря 2011

Вы хотите прочитать SQL-таблицу в запись, я понятия не имею, почему вы работаете с архаичным AssignFile.

Вы действительно должны использовать TADOQuery (или подходящий вариант) для своей базы данных.
Поместить в нее разумный SQL-запрос;что-то вроде: 

SELECT field1, field2, field3 FROM tablename WHERE .....

Если вы сомневаетесь, вы можете использовать: 

SELECT * FROM tablename

, который выберет все поля из таблицы.

Следующий код будет проходить через все записи и все поля, сохранять их в вариантах и ​​сохранять их в FileStream.

function NewFile(Filename: string): TFileStream;
begin
  Result:= TFileStream.Create(Filename, fmOpenWrite);
end;

function SaveQueryToFileStream(AFile: TFileStream; AQuery: TADOQuery): boolean;
const
  Success = true;
  Failure = false;
  UniqueFilePrefix = 'MyCustomFileTypeId';
  BufSize = 4096;
var
  Value: variant;
  Writer: TWriter;
  FieldCount: integer;
  c: integer;
  RowCount: integer;
begin
  Result:= Success;
  try
    if not(AQuery.Active) then AQuery.Open

    FieldCount:= AQuery.Fields.Count;
    Writer:= TWriter.Create(AFile, BufSize);
    try
      Writer.WriteString(UniqueFilePrefix)
      //Write the record info first
      Writer.WriteInteger(FieldCount);
      //Write the number of rows
      RowCount:= AQuery.RecordCount;
      WriteInteger(RowCount);
      AQuery.First;
      while not(AQuery.eof) do begin
        for c:= 0 to FieldCount -1 do begin
          Value:= AQuery.Fields[c].Value;
          Writer.WriteVariant(Value);
        end; {for c}
        AQuery.Next;
      end; {while}
    except 
      Result:= failure;
    end;
  finally
    Writer.Free;
  end;
end;
...