Примечание 8-байтовый двоичный (8) столбец будет 0x1122334455667788 вместо 0x12345678. Каждый байт имеет 2 шестнадцатеричных символа.
Вы можете просто использовать подстроку, если у вас уже есть столбец "размер"
declare @t table (id int identity, bin binary(8), size int)
insert @t select 0x0102030405060708, 8
insert @t select 0x0102030405000000, 5
insert @t select 0x0102030405060000, 6
insert @t select 0x0102030405060700, 7
insert @t select 0x0102030405060708, 8
select id, CONVERT(varbinary(max), substring(bin, 1, size)) as newbin
from @t
order by id
выход
id newbin
----------- ---------------------
1 0x0102030405060708
2 0x0102030405
3 0x010203040506
4 0x01020304050607
5 0x0102030405060708
Для ваших данных
INSERT INTO newVarBinaryTable (new_id, new_data)
select id, substring(data, 1, size)
FROM oldBinaryTable