google「クロールエラー」(解答編1日目)

スポンサーリンク


Google Search Consoleに登録した直後から発生した「クロールエラー」でしたが、この度、やっと解決することができました。さまざまなサポートを受けて乗り越えられた壁です。ご助力いただいた方に、厚く御礼を申し上げます。

前回のおさらい

<迷走編から>

GooGle Search Consoleに登録して、作ったWordpressサイトのページを一刻も早くインデックスしてもらおうと思い、Fetch as Googleでページの取得を試みたものの、タイトルページにしている固定ページは取得が「完了」となるのに、下層のブログページは「アクセスできません」となり、対策を探していた…。

アドレスの末尾に「/」をつける

さて、前回投稿時のクロールエラーから、どのような道を経て、解決に至ることができたのでしょうか。

まず、ネットで手軽にできそうなところから初めてみました。

目をつけたのが、取得したいアドレスの末尾に「/」をつけることでした。

https://banabo.net/google-crawl-error/と入力して取得ボタンを押すと、ステータスは「リダイレクトされました」と返ってきました。

最初は「アクセスできません」から始まり、インデックスを取得できるページへと飛ぶので一瞬正解したのかと思いましたが、ぬか喜びでした。

「リダイレクトされました」とは、リクエストしたURLと実際に取得するURLに差がありますよ、という警告だったのです。

末尾に「/」をつけて解決した方のサイトは、どうして解決できたのかはわかりませんが、少なくとも私の場合は解決ができませんでした。

エックスサーバーに問い合わせる

前回の投稿では、Search Consoleが「サーバー側に問題がある」と教えていました。

ということは、レンタルサーバーに原因があるかもしれない、と思い、レンタル先のエックスサーバーに問い合わせてみました。

以下、回答文です(ほぼ全文ママ。回答文の最後に要約を箇条書きしましたので、飛ばしても構いません)

———————————————————————————————————
お問い合わせいただきありがとうございます。

ご質問に対して下記にて回答いたしますが、エックスサーバーではGoogleBotなど「検索エンジンの情報収集ロボット」に対し、サーバーレベルでのアクセス制限はいたしておりません。

またGoogleのWEBマスターツールに関するご質問についても基本的にサポートの対象外でございます。

そのため、あくまでも一般的な回答のみとなりますことご了承くださいますようお願い申し上げます。

まず、今回のご連絡を受け確認いたしましたが、サーバーアカウント【bananaboat】や「banabo.net」のネームサーバーとして設定されているDNSサーバーにおきまして少なくともここしばらくは特に異常は見受けられませんでした。

ただ、WordPressのログイン画面には国外からのアクセスに対して制限をしておりますので、エラーが出ているURLがhttps://banabo.net/wordpress/wp-login.phpへのものであればサーバーパネルの『WordPressセキュリティ設定』の影響である可能性もございます。

「クロールのサーバーエラー」が発生しているURLがログイン画面へのものかどうかを念のためお調べください。

なお、ログイン画面でのエラーではないという場合ですがこれまで、Googleウェブマスターツールにおいてこの度ご連絡いただいたようなエラーが発生することがある、というご報告はこれまでも何度かいただいております。

上記の通り、サーバー側の異常などは見受けられないためサーバー側のトラブル・設定に起因するものとは考えにくいのですが一定の頻度で同様のご報告をいただくことがあるため当サービス側としてはGoogle側に問題が発生していたか、WEBサイトにある程度のアクセスが集中していたために、エラーが発生していたのではないかと考えております。

スポンサーリンク

いずれにしても推測の域を出るものではございませんが検索エンジンのBotのアクセスは、短時間に多数のページを巡回することがありエラーが発生する場合もあることについて、ご承知置きいただければと存じます。

なお、よろしければ、下記テストを行っていただきご状況をご確認いただいてもよろしいでしょうか?

※ こちらのテスト結果により、詳細なご案内が可能なケースもございます。

▼ご確認いただく内容

————————————————————

1.Googleウェブマスターツールにログインし、この度エラーが発生したサイトを選択します。

2.画面左側のメニューにて、「クロール」をクリックし、サブメニューの「Fetch as Google」をクリックします。

3.「Fetch as Google」にてお客様のサイトの「取得」を おこなってください。なお、本件はDNSエラーの調査のため、お客様のサイトのトップページ等、確実にアクセスが可能なアドレスをご入力ください。

※入力欄を空白とすることで、ドメイン直下のトップページ(index.htmlやindex.phpなど)に対するアクセス処理が実施されます。

4.結果表示画面で表示された【メッセージの内容】と【確認した日時】をサポートまでお知らせください。「成功しました」と表示された場合、DNSエラー等が発生せず、Googleのクローラーがお客様のサイトへ正常にアクセスできたことを意味します。上記以外の表示の場合、何らかの理由により、Googleのクローラーがお客様のサイトへアクセスできなかったことを意味します。

※この場合にも、アクセス拒否(403エラー)など、DNSエラー以外の原因である可能性も若干ございます。また、確認した日時につきましては、大変恐縮ですが、日本時間にてお知らせくださいませ。

※Googleウェブマスターツール上では、日本時間以外の時刻が表示される場合もございます。

————————————————————

アクセスがうまくいかなかったURLについて調査を行い、エラーコードや、【該当時間のエックスサーバー側のアクセスログ・エラーログ】などをご確認いただくことにより、原因の特定に役立つかと存じますので参考にしていただければと存じます。何卒よろしくお願い申し上げます。

———————————————————————————————————

以上、回答文でした。要約すると、

  • エックスサーバーは巡回ロボットに対するアクセス制限を行っていない
  • レンタルサーバー側からは異常はみられなかった
  • Google側に問題があるか、一時的にwebサイトにアクセスが集中したのではないか

とのことです。

メールから1時間半ほどで丁寧な返事が返ってくる 点は、さすがエックスサーバー。初心者に私にとってはカスタマーサポートが神様のように見えます。

ただし、できたばかりのwebサイトに一時的とはいえアクセスが集中しているとはとても考えにくく、時間が解決してくれるという代物ではないと考えました。

実際、Fetch as Googleでクロールエラーとして突き返された取得ページを「修正済み」にして、1日寝かせて待ってみたのですが、再びクロールエラーとなってしまいました。

私の場合、時間が解決するというのも間違いでした。

<解答編2日目に続く>

スポンサーリンク


google search console

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

ABOUTこの記事をかいた人

新聞社の記者をしています。仲間との起業を夢見て、これまでに学んできたノウハウを記しておきます。現在、主に結婚新聞や企業・団体向けの広報紙を制作していますが「こんな紙面をつくってほしい」とのご要望にも随時お応えしています。