Bibliotecă Python Open Source pentru Parsarea HTML/XML și Extracția Datelor

Începerea cu Beautiful Soup

Cea recomandată și cea mai ușoară metodă de a instala Beautiful Soup este prin utilizarea pip. Vă rugăm să folosiți comanda următoare pentru o instalare fără probleme.

pip install beautifulsoup4 

Lucrul cu mai mulți parsere

Biblioteca Beautiful Soup nu efectuează toată parsarea singură — în schimb, se așază deasupra parserelor mature precum parserul încorporat html.parser al Python, parserul rapid lxml și html5lib, asemănător unui browser. În funcție de nevoi, puteți prioritiza viteza sau conformitatea cu standardele. Această arhitectură vă oferă flexibilitatea de a alege parserul care se potrivește cel mai bine nevoilor dumneavoastră, de a schimba viteza de parsare pentru flexibilitate, de a încerca diferite strategii de parsare fără a modifica codul Beautiful Soup și așa mai departe. Codul simplu de mai jos arată cum dezvoltatorii pot folosi diferiți parsere cu Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Conținut de exemplu
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Extrage linkuri din pagini web

Extracția de linkuri este o sarcină comună de web scraping, deosebit de utilă pentru construirea de web crawler-e. Biblioteca open source Beautiful Soup a inclus suport pentru încărcarea paginilor web și extragerea linkurilor din acestea în aplicații Python. Exemplul simplu de cod de mai jos demonstrează preluarea unei pagini web live utilizând biblioteca requests, apoi extragerea tuturor etichetelor ancoră în aplicații Python.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Căutarea elementelor HTML specifice

Una dintre cele mai mari puncte forte ale Beautiful Soup este modul natural în care îți permite să cauți în HTML, aproape ca și cum ai citi engleza simplă. În loc să te ocupi de API-uri DOM complexe, descrii ce vrei, iar Beautiful Soup îl găsește pentru tine. Să presupunem că vrei să găsești toate linkurile de pe o pagină. Poți folosi metoda find_all așa cum se arată în exemplul de cod de mai jos. Metoda returnează o listă cu toate etichetele de link. Apoi iterăm prin ele pentru a extrage URL-ul și textul, obținând numele vizibil al linkului utilizând API-ul Python.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Gestionarea automată a codificării

Una dintre cele mai convenabile caracteristici ale Beautiful Soup este conversia automată a codificărilor. Biblioteca convertește automat documentele de intrare în Unicode și documentele de ieșire în UTF-8, eliminând una dintre cele mai comune dureri de cap în web scraping. Vă rugăm să rețineți că trebuie să vă gândiți la codificări numai atunci când documentul nu specifică o codificare, deoarece Beautiful Soup nu poate detecta automat codificarea. În aceste cazuri rare, specificați pur și simplu codificarea originală manual.