リンクが切れたファイルがサーバーに残っていますが、検索対象になりますか? また、リンク切れのファイルを検索対象から除外するには、どのようにしたらよいですか?


ロボット巡回当初にリンクされていた場合、該当するページを巡回対象として取得しますので、検索DBにデータが保存されます。その場合、その後リンクが切れてしまっても、DBにデータが残っている限りは検索対象となる場合があります。

検索対象から除外するには、以下の2つの方法がございます。
 1)除外URLとして該当するURLを設定する。
 2)DBをクリアして巡回の再設定を行う。