Чтение и анализ больших текстовых файлов с разделителями в VB.net

Question

Я занят приложением, которое считывает файлы журнала с разделителями пространства размером от 5 МБ до 1 ГБ +, а затем сохраняет эту информацию в базе данных MySQL для дальнейшего использования при печати отчетов на основе информации, содержащейся в файлах. Методы, которые я пробовал / нашел, работают, но очень медленные.

Я что-то не так делаю? или есть лучший способ обрабатывать очень большие текстовые файлы?

Я пытался использовать textfieldparser следующим образом:

Using parser As New TextFieldParser("C:\logfiles\testfile.txt")
    parser.TextFieldType = FieldType.Delimited
    parser.CommentTokens = New String() {"#"}
    parser.Delimiters = New String() {" "}
    parser.HasFieldsEnclosedInQuotes = False
    parser.TrimWhiteSpace = True
    While Not parser.EndOfData
        Dim input As String() = parser.ReadFields()
        If input.Length = 10 Then
            'add this to a datatable
        End If
    End While
End Using

Это работает, но очень медленно для больших файлов.

Затем я попытался использовать соединение OleDB с текстовым файлом в соответствии со следующей функцией в сочетании с файлом schema.ini, который я заранее записал в каталог:

Function GetSquidData(ByVal logfile_path As String) As System.Data.DataTable
    Dim myData As New DataSet
    Dim strFilePath As String = ""
    If logfile_path.EndsWith("\") Then
        strFilePath = logfile_path
    Else
        strFilePath = logfile_path & "\"
    End If
    Dim mySelectQry As String = "SELECT * FROM testfile.txt WHERE Client_IP <> """""
    Dim myConnection As New System.Data.OleDb.OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & strFilePath & ";Extended Properties=""text;HDR=NO;""")
        Dim dsCmd As New System.Data.OleDb.OleDbDataAdapter(mySelectQry, myConnection)
        dsCmd.Fill(myData, "logdata")
        If Not myConnection.State = ConnectionState.Closed Then
            myConnection.Close()
        End If
    Return myData.Tables("logdata")
End Function

Файл schema.ini:

[testfile.txt]
Format=Delimited( )
ColNameHeader=False
Col1=Timestamp text
Col2=Elapsed text
Col3=Client_IP text
Col4=Action_Code text
Col5=Size double
Col6=Method text
Col7=URI text
Col8=Ident text
Col9=Hierarchy_From text
Col10=Content text

У кого-нибудь есть идеи, как читать эти файлы быстрее?

-edit- Исправлена ​​опечатка в коде выше

Answer 1

Там есть две потенциально медленные операции:

• Чтение файла
• Вставка большого количества данных в базу данных

Разделите их и проверьте,занимает больше времени.Т.е. написать одну тестовую программу, которая просто читает файл, и другую тестовую программу, которая просто вставляет множество записей.Посмотрите, какой из них самый медленный.

Одной из проблем может быть то, что вы читаете весь файл в память?

Попробуйте прочитать его построчно с потоком.Вот пример кода , скопированный с MSDN

Imports System
Imports System.IO

Class Test
    Public Shared Sub Main()
        Try
            ' Create an instance of StreamReader to read from a file.
            ' The using statement also closes the StreamReader.
            Using sr As New StreamReader("TestFile.txt")
                Dim line As String
                ' Read and display lines from the file until the end of
                ' the file is reached.
                Do
                    line = sr.ReadLine()
                    If Not (line Is Nothing) Then
                        Console.WriteLine(line)
                    End If
                Loop Until line Is Nothing
            End Using
        Catch e As Exception
            ' Let the user know what went wrong.
            Console.WriteLine("The file could not be read:")
            Console.WriteLine(e.Message)
        End Try
    End Sub
End Class

Answer 2

С вершины моей головы, скажем, попробуем реализовать какую-то многопоточность для распределения рабочей нагрузки.