Open source Python-bibliotheek om HTML/XML te parseren & gegevens te extraheren

Aan de slag met Beautiful Soup

De aanbevolen en eenvoudigste manier om Beautiful Soup te installeren is met pip. Gebruik alstublieft het volgende commando voor een soepele installatie.

pip install beautifulsoup4 

Werken met meerdere parsers

De Beautiful Soup-bibliotheek doet niet al het parseren zelf — in plaats daarvan zit hij bovenop volwassen parsers zoals Python’s ingebouwde html.parser, de snelle lxml-parser en de browser-achtige html5lib. Afhankelijk van de behoeften kunt u snelheid of standaardconformiteit prioriteren. Deze architectuur geeft u de flexibiliteit om de parser te kiezen die het beste bij uw behoeften past, de parsesnelheid te ruilen voor flexibiliteit, verschillende parseerstrategieën uit te proberen zonder uw Beautiful Soup-code te wijzigen, enzovoort. De volgende eenvoudige code laat zien hoe ontwikkelaars verschillende parsers met Beautiful Soup kunnen gebruiken.

# Using different parsers with Beautiful Soup
html_doc = "
Voorbeeldinhoud
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Links extraheren van webpagina's

Het scrapen van links is een veelvoorkomende webscrapingtaak, vooral nuttig voor het bouwen van webcrawlers. De open‑source Beautiful Soup‑bibliotheek biedt ondersteuning voor het laden van webpagina's en het extraheren van links daarin binnen Python‑toepassingen. Het volgende eenvoudige code‑voorbeeld toont het ophalen van een live webpagina met behulp van de requests‑bibliotheek, waarna alle anker‑tags binnen Python‑toepassingen worden geëxtraheerd.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Specifieke HTML-elementen zoeken

Een van de grootste sterke punten van Beautiful Soup is hoe natuurlijk het je HTML laat doorzoeken, bijna alsof je gewone Engelse tekst leest. In plaats van te werken met complexe DOM‑API's, beschrijf je wat je wilt, en Beautiful Soup vindt het voor je. Stel dat je alle links op een pagina wilt vinden. Je kunt de find_all‑methode gebruiken zoals getoond in het volgende code‑voorbeeld. De methode retourneert een lijst van alle link‑tags. Vervolgens itereren we erdoor om de URL en tekst te extraheren en zo de zichtbare linknaam te verkrijgen met de Python‑API.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Automatische coderingafhandeling

Een van de handigste functies van Beautiful Soup is de automatische coderingconversie. De bibliotheek converteert automatisch binnenkomende documenten naar Unicode en uitgaande documenten naar UTF-8, waardoor een van de meest voorkomende hoofdpijnproblemen bij webscraping wordt geëlimineerd. Houd er rekening mee dat je alleen over coderingen hoeft na te denken wanneer het document geen codering opgeeft, aangezien Beautiful Soup de codering niet automatisch kan detecteren. In deze zeldzame gevallen specificeer je simpelweg handmatig de oorspronkelijke codering.