まず、「favicon.ico」という名前で画像を用意します。(ico拡張子)
favicon画像はpublicフォルダに入れる必要があります。
『application.html.erb』で次のように宣言します。
<%= favicon_link_tag %>
これでfaviconが表示されました。
補足
最初、favicon画像をassetsのimageフォルダ内に入れて表示する方法を試してみたのですが、ローカル上では表示されていたのがHerokuで動かした時に認識されませんでした。favicon画像はpublicフォルダにいれる方法がいいみたいです。