get_template_directory () возвращает каталог, но он не отображает его, поэтому, если вы используете его вместе с echo, он будет работать
<img src="<?php echo get_template_directory(); ?>/images/bg.png"></img>
но я предложу использовать вместо него get_template_directory_uri (), потому что выше не будет переносимым (окна используют обратные слеши в качестве разделителя)
<img src="<?php echo get_template_directory_uri(); ?>/images/bg.png"></img>