کتابخانه منبع باز پایتون برای تجزیه HTML/XML و استخراج داده‌ها

شروع کار با Beautiful Soup

روش پیشنهادی و آسان برای نصب Beautiful Soup استفاده از pip است. لطفاً برای نصب روان از فرمان زیر استفاده کنید.

pip install beautifulsoup4 

کار با چند تجزیه‌کننده

کتابخانه Beautiful Soup تمام پردازش را خود انجام نمی‌دهد — بلکه بر روی تجزیه‌کننده‌های پیشرفته‌ای مانند html.parser داخلی پایتون، تجزیه‌کننده سریع lxml و html5lib شبیه مرورگر قرار می‌گیرد. بسته به نیازها می‌توانید سرعت یا سازگاری با استانداردها را اولویت دهید. این معماری به شما انعطاف‌پذیری می‌دهد تا تجزیه‌کننده‌ای که بهترین تطابق را با نیازهای شما دارد انتخاب کنید، سرعت تجزیه را برای انعطاف‌پذیری تعویض کنید، استراتژی‌های مختلف تجزیه را بدون تغییر کد Beautiful Soup امتحان کنید، و غیره. کد ساده زیر نشان می‌دهد که توسعه‌دهندگان چگونه می‌توانند از تجزیه‌کننده‌های مختلف با Beautiful Soup استفاده کنند.

# Using different parsers with Beautiful Soup
html_doc = "
محتوای نمونه
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

استخراج لینک‌ها از صفحات وب

استخراج لینک‌ها یک کار معمول در وب اسکرپینگ است که به‌ویژه برای ساخت وب‌کرالرها مفید است. کتابخانه منبع باز Beautiful Soup پشتیبانی از بارگذاری صفحات وب و استخراج لینک‌ها را در برنامه‌های پایتون فراهم کرده است. مثال ساده کد زیر نشان می‌دهد که چگونه یک صفحه وب زنده را با استفاده از کتابخانه requests دریافت کرده و سپس تمام تگ‌های anchor را در برنامه‌های پایتون استخراج می‌کنیم.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

جستجوی عناصر خاص HTML

یکی از بزرگ‌ترین قوت‌های Beautiful Soup این است که به‌طور طبیعی به شما امکان جستجوی HTML را می‌دهد، تقریباً مانند خواندن زبان ساده انگلیسی. به‌جای کار با APIهای پیچیده DOM، شما آنچه می‌خواهید را توصیف می‌کنید و Beautiful Soup آن را برای شما پیدا می‌کند. فرض کنید می‌خواهید تمام لینک‌های یک صفحه را پیدا کنید. می‌توانید از متد find_all همان‌طور که در مثال کد زیر نشان داده شده استفاده کنید. این متد لیستی از تمام تگ‌های لینک را برمی‌گرداند. سپس با عبور از آن‌ها، URL و متن را استخراج می‌کنیم تا نام قابل مشاهده لینک را با استفاده از API پایتون به دست آوریم.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

مدیریت خودکار رمزگذاری

یکی از مفیدترین ویژگی‌های Beautiful Soup تبدیل خودکار رمزگذاری است. این کتابخانه به‌صورت خودکار اسناد ورودی را به یونیکد و اسناد خروجی را به UTF-8 تبدیل می‌کند و یکی از رایج‌ترین دردسرهای استخراج وب را از بین می‌برد. لطفاً به یاد داشته باشید که فقط زمانی باید به رمزگذاری‌ها فکر کنید که سند رمزگذاری مشخصی نداشته باشد، زیرا Beautiful Soup نمی‌تواند به‌صورت خودکار رمزگذاری را تشخیص دهد. در این موارد نادر، کافی است رمزگذاری اصلی را به‌صورت دستی مشخص کنید.