Я пытаюсь сравнить два больших набора данных из запроса SQL. Прямо сейчас SQL-запрос выполняется извне, и результаты каждого набора данных сохраняются в его собственном CSV-файле. Мое маленькое консольное приложение C # загружает два текстовых / CSV-файла, сравнивает их на предмет различий и сохраняет различия в текстовом файле.
Это очень простое приложение, которое просто загружает все данные из первого файла в массив и выполняет .compare () для массива, когда каждая строка читается из второго файла CSV. Затем сохраняет записи, которые не совпадают.
Приложение работает, но я хотел бы улучшить производительность. Я полагаю, что могу значительно повысить производительность, если смогу воспользоваться тем, что оба файла отсортированы, но я не знаю тип данных в C #, который сохраняет порядок и позволил бы мне выбрать конкретную позицию. Есть базовый массив, но я не знаю, сколько элементов будет в каждом списке. Я мог иметь более миллиона записей. Есть ли доступный тип данных, на который я должен смотреть?