ไลบรารี Python แบบโอเพนซอร์สสำหรับแยกวิเคราะห์ HTML/XML และดึงข้อมูล

เริ่มต้นกับ Beautiful Soup

วิธีที่แนะนำและง่ายที่สุดในการติดตั้ง Beautiful Soup คือการใช้ pip. โปรดใช้คำสั่งต่อไปนี้เพื่อการติดตั้งที่ราบรื่น.

pip install beautifulsoup4 

ทำงานกับพาร์เซอร์หลายตัว

ไลบรารี Beautiful Soup ไม่ได้ทำการพาร์สทั้งหมดด้วยตนเอง — แต่จะทำงานบนพาร์สเซอร์ที่พัฒนามาแล้ว เช่น Python’s built-in html.parser, พาร์สเซอร์ที่เร็ว lxml, และ html5lib ที่ทำงานคล้ายเบราว์เซอร์ ขึ้นอยู่กับความต้องการ คุณสามารถให้ความสำคัญกับความเร็วหรือการปฏิบัติตามมาตรฐานได้ สถาปัตยกรรมนี้ให้ความยืดหยุ่นในการเลือกพาร์สเซอร์ที่เหมาะสมที่สุดกับความต้องการของคุณ แลกเปลี่ยนความเร็วการพาร์สเพื่อความยืดหยุ่น ทดลองกลยุทธ์การพาร์สต่าง ๆ โดยไม่ต้องเปลี่ยนโค้ด Beautiful Soup ของคุณ และอื่น ๆ โค้ดง่ายต่อไปนี้แสดงให้เห็นว่าผู้พัฒนาสามารถใช้พาร์สเซอร์ต่าง ๆ กับ Beautiful Soup ได้อย่างไร

# Using different parsers with Beautiful Soup
html_doc = "
เนื้อหาตัวอย่าง
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

การดึงลิงก์จากหน้าเว็บ

การดึงลิงก์เป็นงานการสเกรปเว็บที่พบบ่อย โดยเฉพาะอย่างยิ่งมีประโยชน์สำหรับการสร้างเว็บครอเลอร์ ไลบรารีโอเพ่นซอร์ส Beautiful Soup ได้รวมการสนับสนุนการโหลดหน้าเว็บและการดึงลิงก์จากหน้าเว็บภายในแอปพลิเคชัน Python ตัวอย่างโค้ดง่าย ๆ ด้านล่างนี้แสดงการดึงหน้าเว็บสดโดยใช้ไลบรารี requests แล้วดึงแท็ก anchor ทั้งหมดภายในแอปพลิเคชัน Python

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

การค้นหาองค์ประกอบ HTML เฉพาะ

หนึ่งในจุดแข็งที่ใหญ่ที่สุดของ Beautiful Soup คือความเป็นธรรมชาติในการให้คุณค้นหา HTML เหมือนการอ่านภาษาอังกฤษธรรมดา แทนที่จะต้องจัดการกับ API DOM ที่ซับซ้อน คุณเพียงอธิบายสิ่งที่ต้องการ แล้ว Beautiful Soup จะค้นหาให้คุณ สมมติว่าคุณต้องการค้นหาลิงก์ทั้งหมดในหน้าเว็บ คุณสามารถใช้เมธอด find_all ตามที่แสดงในตัวอย่างโค้ดด้านล่าง เมธอดนี้จะคืนรายการของแท็กลิงก์ทั้งหมด จากนั้นเราจะวนลูปผ่านรายการเพื่อดึง URL และข้อความเพื่อให้ได้ชื่อลิงก์ที่มองเห็นได้โดยใช้ Python API

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

การจัดการการเข้ารหัสอัตโนมัติ

หนึ่งในคุณสมบัติที่สะดวกที่สุดของ Beautiful Soup คือการแปลงรหัสอัตโนมัติ ไลบรารีจะทำการแปลงเอกสารที่เข้ามาเป็น Unicode และเอกสารที่ส่งออกเป็น UTF-8 โดยอัตโนมัติ ซึ่งช่วยขจัดปัญหาที่พบบ่อยที่สุดในการดึงข้อมูลจากเว็บ โปรดจำไว้ว่า คุณต้องคิดเกี่ยวกับการเข้ารหัสเท่านั้นเมื่อเอกสารไม่ได้ระบุการเข้ารหัส เนื่องจาก Beautiful Soup ไม่สามารถตรวจจับการเข้ารหัสได้โดยอัตโนมัติ ในกรณีที่หายากเหล่านี้ คุณเพียงแค่ระบุการเข้ารหัสต้นฉบับด้วยตนเอง