【最終更新：2023年6月18日】
【初回公開：2023年6月18日】
＜ wwwsearch用表示設定 ｜ カウンターを設置する ＞
robots.txtを設置する
- Googleクローラーさん【googlebot】が定期的にsitemapを確認に来てくれているようです。
- 最近、当サイトは『調べる人blog』（てがろぐCGI利用）を追加し、sitemapが複数になりました。
- 複数のsitemapをしっかり読んで貰う為に、『robots.txt』を設置（作成）します。
- robots.txtのパーミッションも変更します。
『404ページ作成』記事
『wwwsearch検索フォーム導入』記事
『GIFイメージカウンター設置』記事
① 設置の経緯：
現在、サイトマップに大きな変更があった場合は、SEO対策として、
『Google Search Console』で『新しいサイトマップの追加』から
都度、サイトマップデータ（sitemap.xmlなど）を送信しています。
しかし、
・新しいサイトマップの送信を、作業をし忘れる事がある
・サイトマップ更新を Search Consoleに知らせる『適切な頻度』が不明
・Googleクローラーさん【googlebot】が定期的に確認に来てくれている
・サイトマップが増えた時の作業量の増加に、事前に対応したい
ということで、robots.txtを設置（作成）することにしました。
② robots.txtの設置：
FTPソフト（WinSCPなど）で、以下の通り『robots.txt』を設置し、設定します。
1. 設置場所（ディレクトリ）
robots.txtは、ウェブサイトのルートドメインに設置する。
例）waniten.comであれば、
https://waniten.com/robots.txt
2. ファイル名
robots.txt という名前にする。
※～sと、『s』が付きます。
3. robots.txtの内容（当サイト）
User-agent: *
Sitemap: https://waniten.com/sitemap.xml
Sitemap: https://waniten.com/wanitenblog_sitemap.xml
説明）
１行目：全てのクローラーさんを許可
２行目：読んで欲しいサイトマップファイルの場所とファイル名（その１）
３行目：読んで欲しいサイトマップファイルの場所とファイル名（その２）
4. パーミッションの設定内容
数字【604】 ※記号【rw- --- r--】
『wwwsearch検索フォーム導入』記事
『GIFイメージカウンター設置』記事
『404ページ作成』記事
＜ wwwsearch用表示設定 ｜ カウンターを設置する ＞