リンクが切れたファイルがサーバーに残っていますが、検索対象になりますか? また、リンク切れのファイルを検索対象から除外するには、どのようにしたらよいですか?
ロボット巡回当初にリンクされていた場合、該当するページを巡回対象として取得しますので、検索DBにデータが保存されます。その場合、その後リンクが切れてしまっても、DBにデータが残っている限りは検索対象となる場合があります。
検索対象から除外するには、以下の2つの方法がございます。
1)除外URLとして該当するURLを設定する。
2)DBをクリアして巡回の再設定を行う。