Если вы знаете расширение, вы, вероятно, можете получить тип MIME из этого. В ASP.NET Core на самом деле есть что-то встроенное в промежуточное ПО Static Files, которое вы можете использовать:
var provider = new FileExtensionContentTypeProvider();
var contentType = provider.TryGetContentType(fileName, out var type)
? type
: "application/octet-stream";
return File(stream, contentType);
Кроме этого, Дэмиен прав в комментариях, вы не можете определить тип пантомимы из одних байтов.