Два пути,
первый - использовать этот плагин
http://wordpress.org/extend/plugins/shockingly-simple-favicon/
Или, если вы действительно хотите узнать, как это работает. Откройте папку с вашей темой (обычно в разделе wp-content -> themes -> название вашей темы), а затем обычно в файле header.php есть все, что происходит в заголовке ваших страниц.
В любом месте в <head></head> поместите следующий код ...
<link rel="shortcut icon" type="image/x-icon" href="/favicon.ico">
Где / favicon, ссылка на ваш favicon.ico.
Чтобы легко сделать значок, используйте следующую ссылку.
http://www.favicon.co.uk/
Надеюсь, это поможет вам узнать, как это сделать и что делает для вас настоящий плагин:)