Open source Python knihovna pro parsování HTML/XML a extrakci dat

Začínáme s Beautiful Soup

Doporučený a nejjednodušší způsob instalace Beautiful Soup je pomocí pip. Použijte prosím následující příkaz pro hladkou instalaci.

pip install beautifulsoup4 

Práce s více parsery

Knihovna Beautiful Soup neprovádí veškeré parsování sama — místo toho stojí nad vyspělými parsery, jako je vestavěný html.parser v Pythonu, rychlý parser lxml a prohlížečům podobný html5lib. V závislosti na potřebách můžete upřednostnit rychlost nebo soulad se standardy. Tato architektura vám poskytuje flexibilitu vybrat si parser, který nejlépe vyhovuje vašim potřebám, vyměnit rychlost parsování za flexibilitu, vyzkoušet různé strategie parsování bez změny kódu Beautiful Soup a podobně. Následující jednoduchý kód ukazuje, jak mohou vývojáři používat různé parsery s Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Ukázkový obsah
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Extrahování odkazů z webových stránek

Scrapování odkazů je běžný úkol webového scrapingu, zejména užitečný pro tvorbu webových crawlerů. Open source knihovna Beautiful Soup zahrnuje podporu načítání webových stránek a extrahování odkazů v Python aplikacích. Následující jednoduchý příklad kódu ukazuje načtení živé webové stránky pomocí knihovny requests a následné extrahování všech anchor tagů v Python aplikacích.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Vyhledávání konkrétních HTML elementů

Jednou z největších sil Beautiful Soup je, jak přirozeně vám umožňuje prohledávat HTML, téměř jako čtení prosté angličtiny. Místo práce s komplikovanými DOM API popíšete, co chcete, a Beautiful Soup to pro vás najde. Předpokládejme, že chcete najít všechny odkazy na stránce. Můžete použít metodu find_all, jak je ukázáno v následujícím příkladu kódu. Metoda vrací seznam všech odkazových tagů. Pak je procházíme, abychom extrahovali URL a text a získali viditelný název odkazu pomocí Python API.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Automatické zpracování kódování

Jednou z nejužitečnějších funkcí knihovny Beautiful Soup je její automatická konverze kódování. Knihovna automaticky převádí příchozí dokumenty na Unicode a odchozí dokumenty na UTF-8, čímž odstraňuje jeden z nejčastějších problémů při web scrapingu. Pamatujte, že o kódování musíte přemýšlet jen tehdy, když dokument nespecifikuje kódování, protože Beautiful Soup nedokáže kódování automaticky detekovat. V těchto výjimečných případech jednoduše ručně zadáte původní kódování.