ホームページのテンプレートセンター

import os
import re
from html import unescape

def process_directory(directory):
    # ディレクトリ内のすべてのファイルとサブディレクトリを取得する
    for root, dirs, files in os.walk(directory):
        for file in files:
            if file.endswith('.html'):
                file_path = os.path.join(root, file)
                process_html_file(file_path, directory)  # フォルダパスも渡す

def process_html_file(file_path, base_directory):
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            content = f.read()
            # リンクタグのコードを取得する
            link_tags = re.findall(r'<a\s+(?:[^>]*?\s+)?href=[\'"]([^"\']+)', content, flags=re.IGNORECASE)
            for tag in link_tags:
                # httpやhttpsなどのスキームが省略されたリンクも対象とする
                if '//' in tag and 'www.example.com' not in tag:
                    folder_name = os.path.relpath(os.path.dirname(file_path), base_directory)  # フォルダ名を取得
                    file_name = os.path.basename(file_path)
                    # 外部リンクとファイル名、フォルダ名の組み合わせを追加
                    external_links.setdefault(tag, []).append((folder_name, file_name))
    except UnicodeDecodeError as e:
        error_message = f'Error processing {file_path}: {str(e)}'
        print(error_message)
        with open('error.txt', 'a', encoding='utf-8') as error_file:
            error_file.write(f'{error_message}\n')

# 指定されたディレクトリ内のHTMLファイルを処理する
directory = r'ウェブサイトのフォルダ'
external_links = {}
process_directory(directory)

# 外部リンクとフォルダ名、ファイル名を一覧でlist.txtに出力する（外部リンクの昇順）
with open('list.txt', 'w', encoding='utf-8') as f:
    sorted_links = sorted(external_links.items(), key=lambda x: x[0])
    for link, file_info in sorted_links:
        file_names = [os.path.join(folders, file) for folders, file in file_info]
        f.write(f'{link}\t{", ".join(file_names)}\n')コピー

import requests

# ユーザーエージェントの設定
headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/79.0.3945.73 Mobile/15E148 Safari/604.1"
}

# list.txtから外部リンクを読み込む
with open('list.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()

# 外部リンクごとにステータスコードを取得し、code.txtに出力する
with open('code.txt', 'w', encoding='utf-8') as code_file:
    for line in lines:
        if '\t' in line:
            link, file_names = line.strip().split('\t')
            try:
                response = requests.get(link, headers=headers, allow_redirects=False)
                redirect_url = ''
                if response.status_code in [301, 302, 303, 307, 308]:
                    redirect_url = response.headers['Location']
                code_file.write(f'{link}\t{response.status_code}\t{len(response.content)}\t{redirect_url}\n')
            except Exception as e:
                print(f'Error processing {link}: {e}')
                with open('error.txt', 'a', encoding='utf-8') as error_file:
                    error_file.write(f'{link}\t{str(e)}\n')
コピー