Основываясь на документации на MSDN и моем опыте, двоичный файл лучше, поскольку хэш md5 не изменяется в размере.
Размер для двоичного типа данных составляет n байтов, поэтому размер данных. Размер типа данных varbinary составляет n байтов + 2 байта поверх размера данных.