Webサイトスクレイピングツール「Frog」で全体ページ数を調べる

「Frog」は、インターネット上のWebサイトをスクレイピングしてSEOに必要な要素をピックアップしてまとめてくれるツール。

正式名称は「Screaming Frog SEO Spider Tool & Website Crawler」。

Frogでできること

  • 大雑把なサイトの規模感の把握
  • サイト制作後のリンクチェック
  • サイト内の画像一括取得
  • TDK(タイトル、ディスクリプション、キーワード)の設置有無

インストール方法

ダウンロードする

上記のWebサイトにアクセスし、Downloadボタンをクリックする。

インストーラーを起動する

ScreamingFrogSEOSpider-16.7.exeを起動して、Defaultにチェックを入れ、installをクリックする。

Defaultにチェックを入れ、installをクリックする。

ゲージがMAXになったら、Closeボタンをクリックする。

Frogを起動する

利用規約に同意する。

インストール完了

早速使ってみよう!

Frogの使い方

調査したいURLを入力する

上部の「Enter url to spider」に調査したいURLを入力して、右側の「Start」ボタンをクリック。

スクレイピング完了

WordPresssだと正確にはスクレイピングできないようだ。コンテンツページがHTMLページの1ページしか発見されていない。

Frogで深掘りする

  • ページ数を把握する
    • 「Inertnal」のタブが開かれているはずなので、Filter → 「HTML」を選択してHTMLファイルだけに絞り込み
  • リンク切れチェック
    • 「Internal」タグからFilter → 「All」を選択して「Status Code」でソート
  • 404チェック
    • 404のURL(行)をクリック。どこからリンクされているかは、下にある「Inlinks」をクリックすると分かる
  • 外部リンクの404確認
    • 「External」タブ>URL(行)を選択して、「Inlinks」から、どこからリンクが貼られているかが確認できる
  • TDK(タイトル、ディスクリプション、キーワード)の設置有無
    • 「External」タブ>URL(行)を選択して、「Inlinks」から、どこからリンクが貼られているかが確認できる