Сравните два больших текстовых файла

Question

Я хочу сравнить два текстовых файла, содержащие URL-адреса. Как и карты сайта. Сравнение старой sitempa с новой, чтобы увидеть новые добавленные URL. К сожалению, я попробовал функцию сравнения из notepad ++ и Sublime Text, но оба зависли из-за размеров файлов. Файлы составляют около 100 Мо и 6 миллионов строк.

Есть идеи, как сделать лучшее решение?

Спасибо!

Answer 1

Вы пробовали diff ?

diff file1 file2

Учитывая, что файлы большие, вы можете использовать

- speed-large-files

опция.

РЕДАКТИРОВАТЬ: Вот пример с использованием абсолютных путей к файлам:

Daniel@PC MINGW64 /tmp/difftest
$ printf "Very interesting Text\nI love cookies!" > file1

Daniel@PC MINGW64 /tmp/difftest
$ printf "Very interesting Text\nI hate cookies!" > file2

Это ^ просто для создания двух файлов, которые содержат две строки, второй другой.

Daniel@PC MINGW64 /tmp/difftest
$ diff /tmp/difftest/file1 /tmp/difftest/file2
2c2
< I love cookies!
\ No newline at end of file
---
> I hate cookies!
\ No newline at end of file