Мы извлекаем данные из базы данных oracle в файл, используя C # oracleDataReader, мы используем несколько потоков, и я обнаружил, что чтение данных, отличных от clob, очень быстрое, скажем, 4 минуты для 1 ГБ.Но когда данные содержат данные clob, они очень очень медленные, даже данные 12 MB MB занимают около 3 часов.
Я попытался увеличить буфер с 64 КБ до 5 МБ.
Подскажите, пожалуйста, как увеличить скорость записи clob в файл.
Исходный код
мы используем 2 файла: 1 для реального csv и 1 для clob.мы записываем recordpointer вместо clob в csv-файле, а в clob-файле пишем recordpointer, значение clob.
else if (objVal is OracleClob)
{
OracleClob oraVal = (OracleClob)objVal;
if (oraVal.IsEmpty)
sw.Write("");
else
{
// using (StreamWriter writer = new StreamWriter(fileName, true))
{
Interlocked.Increment(ref recordPointer);
if (recordPointer == 1)
{
string fileName = outputFileName.Remove(outputFileName.LastIndexOf("."));
fileName = fileName + ".clobcsv";
clobWriter = new StreamWriter(fileName, true);
log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file");
clobWriter.WriteLine("Id," + cols[i]);
}
StringBuilder sb = new StringBuilder("\"");
StringBuilder value = new StringBuilder();
value.Append(oraVal.Value);
//CsvEscape(value.ToString());
value.Replace("\"", "\"\"");
sb.Append(recordPointer);
sb.Append("\"");
sb.Append(delimiter);
sb.Append("\"");
//sb.Append(oraVal.Value.Replace("\"", "\"\""));
sb.Append(value);
value.Clear();
sb.Append("\"");
clobWriter.WriteLine(sb);
//clobWriter.WriteLine("\"" + recordPointer + "\"" + delimiter + "\"" + oraVal.Value.Replace("\"", "\"\"") + "\"");
}
sw.Write(recordPointer);
}
}