「robots.txt」を使ってPDFファイルを検索エンジンにクロールさせなくする

ホームページ制作を行っていると、稀に検索エンジンにヒットさせたくないファイルが出てくることもあります。
サーバーから削除するのが確実ではありますが、諸事情もあるため削除せずにクロールをさせない実装方法をメモ。

robots.txt

User-agent: *
Disallow: *.pdf$

上記はファイル（拡張子）対象とした方法。
ディレクトリを指定する場合は下記

User-agent: *
Disallow: /pdf/

「robots.txt」はホームページのディレクトリ直下に設置します。