Возможно, вам нужно Content-Length
context.Response.AddHeader("Content-Length", new FileInfo(file).Length.ToString());
Или, может быть, вы пропали без вести ContentType
context.Response.ContentType = "application/octet-stream";
В крайнем случае это может быть связано с кэшированием.
context.Response.Cache.SetNoStore();