Вам нужно перевести инструкции ассемблера в машинный код, рассчитать адреса и поместить все в объектный файл.Вам не нужно делать все за один проход.
Если вы ищете таблицу кодов операций, хорошей отправной точкой будет http://ref.x86asm.net/coder32.html или http://www.sandpile.org/.Конечно, можно использовать и официальную документацию по intel и amd.
Для формата объектного файла это зависит от того, что вы хотите сделать с кодом.Алекс указал, что чистый двоичный файл не может быть использован для чего-то большего, чем загрузочный сектор, ядро или программа DOS * .com.Для всего остального вам понадобится информация о перемещении в объектном файле.