Webサイトのリンク切れをチェックするPythonスクリプト

プログラミング

2026.02.04

Webサイトのリンク切れチェックPythonスクリプト

Webサイトのリンク切れは、ユーザーエクスペリエンスを損なうだけでなく、検索エンジンの評価にも悪影響を与えます。定期的なリンク切れチェックは、Webサイトの健全性を維持するために不可欠です。本稿では、Pythonを使用してWebサイトのリンク切れを自動的にチェックするスクリプトについて、その実装方法、必要なライブラリ、そして発展的な活用方法までを詳しく解説します。

スクリプトの基本構造
1. 必要なライブラリ
  1. requestsライブラリ
  2. BeautifulSoupライブラリ
2. スクリプトのフロー
実装例
1. コードの解説
発展的な活用方法
まとめ

スクリプトの基本構造

リンク切れチェックスクリプトの基本的な考え方は、Webサイト内の全てのリンクを抽出し、それぞれに対してHTTPリクエストを送信してステータスコードを確認することです。ステータスコードが4xx（クライアントエラー）または5xx（サーバーエラー）である場合、そのリンクはリンク切れと判断します。

必要なライブラリ

PythonでWebサイトを操作し、HTTPリクエストを送信するには、主に以下のライブラリを使用します。

requestsライブラリ

PythonでHTTPリクエストを送信するためのデファクトスタンダードとも言えるライブラリです。シンプルで直感的なAPIを提供しており、GET, POSTなどのHTTPメソッドの実行、ヘッダーやパラメータの設定、レスポンスの取得などが容易に行えます。リンク切れチェックにおいては、各URLへのGETリクエストを送信し、そのレスポンスステータスコードを取得するために使用します。

BeautifulSoupライブラリ

HTMLやXMLファイルを解析するためのライブラリです。Webサイトからリンク（<a>タグのhref属性など）を抽出する際に非常に役立ちます。HTMLの構造をツリー構造として扱い、CSSセレクタやタグ名を使って特定の要素を簡単に検索できます。

スクリプトのフロー

リンク切れチェックスクリプトは、一般的に以下のフローで動作します。

対象URLの指定: チェックしたいWebサイトのURLを指定します。
Webページの取得: 指定されたURLからHTMLコンテンツを取得します。
リンクの抽出: 取得したHTMLコンテンツから、全てのリンク（<a>タグのhref属性など）を抽出します。
リンクの検証: 抽出した各リンクに対して、HTTP GETリクエストを送信します。
ステータスコードの確認: HTTPリクエストのレスポンスステータスコードを確認します。
リンク切れの判定: ステータスコードがエラーコード（4xx, 5xx）であれば、リンク切れと判定します。
結果の出力: リンク切れしたURLと、可能であればその原因（ステータスコードなど）を出力します。

実装例

以下に、基本的なリンク切れチェックスクリプトのPythonコード例を示します。

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

def check_link_broken(url):
    try:
        response = requests.get(url, timeout=5)
        if response.status_code >= 400:
            return True, response.status_code
        else:
            return False, response.status_code
    except requests.exceptions.RequestException:
        return True, "Error connecting"

def get_all_links(url):
    try:
        response = requests.get(url)
        soup = BeautifulSoup(response.content, 'html.parser')
        links = set()
        for anchor in soup.find_all('a', href=True):
            link = anchor['href']
            absolute_link = urljoin(url, link) # 相対パスを絶対パスに変換
            if absolute_link.startswith(url): # 同じドメイン内のリンクのみを対象とする場合
                links.add(absolute_link)
        return links
    except requests.exceptions.RequestException:
        return set()

if __name__ == "__main__":
    target_url = "https://example.com" # ここに対象のWebサイトURLを入力
    print(f"Checking links for: {target_url}")

    all_links = get_all_links(target_url)
    broken_links = []

    for link in all_links:
        is_broken, status = check_link_broken(link)
        if is_broken:
            broken_links.append((link, status))
            print(f"[BROKEN] {link} (Status: {status})")

    if not broken_links:
        print("No broken links found!")
    else:
        print(f"nFound {len(broken_links)} broken links.")

コードの解説

check_link_broken(url)関数:
指定されたURLに対してHTTP GETリクエストを送信し、ステータスコードを返します。ステータスコードが400以上であればリンク切れとみなしTrueを返します。タイムアウトを設定し、接続エラーもリンク切れとして扱います。
get_all_links(url)関数:
対象URLのHTMLを取得し、BeautifulSoupで解析します。<a>タグを全て抽出し、href属性からリンクを取得します。urljoinを使用して相対パスを絶対パスに変換し、必要に応じて同一ドメイン内のリンクのみを対象とします。
メイン処理 (if __name__ == "__main__":):
対象URLを指定し、get_all_linksで全てのリンクを取得します。その後、取得した各リンクに対してcheck_link_brokenを実行し、リンク切れがあればリストに格納して出力します。

発展的な活用方法

基本的なリンク切れチェック機能に加え、さらに高度な活用が可能です。

エラーレポートの生成

リンク切れを検出した場合、そのURL、ステータスコード、検出日時などを記録したレポートファイル（CSVやJSON形式など）を生成するように拡張できます。これにより、定期的なチェック結果を後から分析しやすくなります。

メール通知機能

リンク切れが検出された際に、管理者や担当者にメールで通知する機能を実装することで、迅速な対応が可能になります。Pythonのsmtplibライブラリを使用することで、メール送信も自動化できます。

クロール機能の強化

現在のスクリプトは単一のページ内のリンクをチェックしますが、Webサイト全体をクロールしてリンク切れをチェックするには、再帰的な処理やキュー（待ち行列）を用いた管理が必要です。これにより、サイトマップのようにサイト全体を網羅的にチェックできます。

除外設定

特定のURLパターン（例: 外部リンク、一時的なエラーの可能性のあるURL）をリンク切れチェックから除外する機能を追加することで、誤検知を減らすことができます。

並列処理

多数のリンクをチェックする場合、処理に時間がかかります。Pythonのthreadingやmultiprocessingモジュールを利用して、複数のリンクを同時にチェックすることで、処理速度を大幅に向上させることが可能です。

定期実行の設定

OSのタスクスケジューラ（Windows）やcron（Linux/macOS）を利用して、このPythonスクリプトを定期的に自動実行するように設定することで、常に最新のリンク切れ情報を把握できます。

まとめ

本稿で紹介したPythonスクリプトは、Webサイトのリンク切れを効率的に検出するための強力なツールです。requestsとBeautifulSoupライブラリを組み合わせることで、比較的容易に実装できます。さらに、エラーレポート生成、メール通知、クロール機能の強化、並列処理といった発展的な機能を加えることで、より堅牢で実用的なリンク切れチェックシステムを構築することが可能です。Webサイトの品質維持のために、ぜひこのスクリプトを活用してください。