Ваше предположение неверно. Компиляция с отладочной информацией означает, что компилятор генерирует DCU с отладочной информацией. Связывание с отладочной информацией означает, что компоновщик помещает отладочную информацию из DCU в окончательный двоичный файл, а не удаляет его, поэтому, конечно, это сделает двоичный файл намного больше.
Связывание без отладочной информации обычно в порядке, так как отладчик может получать отладочную информацию в DCU, пока он может их найти. Но если вам нужно отладить ваше приложение в каком-то сценарии, когда DCU будут недоступны, вам нужно включить опцию ссылки.