Вы можете использовать MD5, SHA1 или SHA2 файла в качестве уникального отпечатка пальца для файла. Каждая хеш-функция даст вам больший, менее перекрывающийся отпечаток, и каждая из них может быть получена библиотечными функциями уже в базовых библиотеках.
По правде говоря, вы, вероятно, могли бы хэшировать гораздо меньшую часть файла, например, первые 1-3 МБ файла, и при этом получить довольно уникальный отпечаток без затрат на обработку файла большего размера (например, AVI).
Посмотрите в пространстве имен System.Security для провайдера MD5Crypto пример того, как сгенерировать MD5 из последовательности байтов.
Редактировать: Если вы хотите убедиться, что хеш сталкивается в относительно коротком порядке, вы можете использовать CRC2, 4, 6, 8, 16, 32, которые будут довольно часто (особенно CRC2 :)), но будут такими же тот же файл. Легко генерировать.