Otwarto‑źródłowa biblioteka Python do parsowania HTML/XML i wyodrębniania danych

Rozpoczęcie pracy z Beautiful Soup

Zalecanym i najprostszym sposobem instalacji Beautiful Soup jest użycie pip. Proszę użyć poniższego polecenia, aby uzyskać płynną instalację.

pip install beautifulsoup4 

Praca z wieloma parserami

Biblioteka Beautiful Soup nie wykonuje całego parsowania samodzielnie — zamiast tego opiera się na dojrzałych parserach, takich jak wbudowany w Pythona html.parser, szybki parser lxml oraz przeglądarkowy html5lib. W zależności od potrzeb możesz priorytetyzować szybkość lub zgodność ze standardami. Ta architektura daje Ci elastyczność w wyborze parsera, który najlepiej spełnia Twoje wymagania, umożliwia wymianę szybkości parsowania na elastyczność, wypróbowanie różnych strategii parsowania bez zmiany kodu Beautiful Soup i tak dalej. Poniższy prosty kod pokazuje, jak programiści mogą używać różnych parserów z Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Przykładowa treść
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Wyodrębnianie linków ze stron internetowych

Scraping linków jest powszechnym zadaniem w web scrapingu, szczególnie przydatnym przy budowaniu crawlerów internetowych. Biblioteka open source Beautiful Soup zawiera wsparcie dla ładowania stron internetowych i wyodrębniania z nich linków w aplikacjach Python. Poniższy prosty przykład kodu demonstruje pobieranie żywej strony internetowej przy użyciu biblioteki requests, a następnie wyodrębnianie wszystkich tagów anchor w aplikacjach Python.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Wyszukiwanie konkretnych elementów HTML

Jedną z największych zalet Beautiful Soup jest to, jak naturalnie pozwala przeszukiwać HTML, prawie jak czytanie zwykłego angielskiego. Zamiast zajmować się skomplikowanymi API DOM, opisujesz, czego potrzebujesz, a Beautiful Soup znajduje to za Ciebie. Załóżmy, że chcesz znaleźć wszystkie linki na stronie. Możesz użyć metody find_all, jak pokazano w poniższym przykładzie kodu. Metoda zwraca listę wszystkich tagów linków. Następnie iterujemy po nich, aby wyodrębnić URL i tekst, aby uzyskać widoczną nazwę linku przy użyciu API Pythona.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Automatyczne obsługiwanie kodowania

Jedną z najwygodniejszych funkcji Beautiful Soup jest automatyczna konwersja kodowania. Biblioteka automatycznie konwertuje przychodzące dokumenty na Unicode oraz wychodzące dokumenty na UTF-8, eliminując jeden z najczęstszych problemów przy web scrapingu. Pamiętaj, że musisz myśleć o kodowaniach tylko wtedy, gdy dokument nie określa kodowania, ponieważ Beautiful Soup nie może automatycznie wykryć kodowania. W takich rzadkich przypadkach po prostu określ ręcznie pierwotne kodowanie.