Не знаю, но я бы ожидал другого подхода к этому вопросу.
При преобразовании последовательности байтов в последовательность шортов, я бы сделал это так, как @Peter сделал
short s = (short)(bytes[0] | (bytes[1] << 8))
или
short s = (short)((bytes[0] << 8) | bytes[1])
в зависимости от порядка байтов в файле.
Но ОП не упомянул, что он использовал шорты или определение шорт в файле.
В его случае не имело бы смысла преобразовывать байтовый массив в короткий массив, потому что это заняло бы вдвое больше памяти, и я сомневаюсь, что байт потребуется для преобразования в короткий при использовании в другом месте.