Отворена Python библиотека за парсване на HTML/XML и извличане на данни

Започване с Beautiful Soup

Препоръчителният и най-лесен начин за инсталиране на Beautiful Soup е чрез pip. Моля, използвайте следната команда за гладка инсталация.

pip install beautifulsoup4 

Работа с множество парсъри

Библиотеката Beautiful Soup не извършва цялото парсиране сама — вместо това, тя се намира върху зрели парсъри като вградената в Python html.parser, бързия парсер lxml и браузър-подобния html5lib. В зависимост от нуждите, можете да приоритизирате скоростта или съответствието със стандартите. Тази архитектура ви дава гъвкавост да изберете парсъра, който най-добре отговаря на вашите изисквания, да разменяте скоростта на парсиране за гъвкавост, да пробвате различни стратегии за парсиране без да променяте кода на Beautiful Soup и т.н. Следният прост код показва как разработчиците могат да използват различни парсъри с Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Примерно съдържание
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Извличане на връзки от уеб страници

Извличането на връзки е честа задача при уеб скрейпинг, особено полезна за създаване на уеб паяци. Отвореният код на библиотеката Beautiful Soup включва поддръжка за зареждане на уеб страници и извличане на връзки от тях в Python приложения. Следният прост пример с код демонстрира извличане на жив уеб страница с помощта на библиотеката requests, след което се извличат всички анкор тагове в Python приложения.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Търсене на конкретни HTML елементи

Една от най-големите силни страни на Beautiful Soup е колко естествено ви позволява да търсите в HTML, почти като четене на прост английски. Вместо да се занимавате със сложни DOM API‑та, вие описвате какво търсите и Beautiful Soup го намира за вас. Да предположим, че искате да намерите всички връзки на страница. Можете да използвате метода find_all, както е показано в следния пример с код. Методът връща списък от всички тагове за връзки. След това обхождаме ги, за да извлечем URL‑а и текста и да получим видимото име на връзката, използвайки Python API.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Автоматично обработване на кодиране

Една от най-удобните функции на Beautiful Soup е автоматичното преобразуване на кодировките. Библиотеката автоматично конвертира входящите документи в Unicode и изходящите документи в UTF-8, премахвайки една от най-честите главоболия при уеб скрейпинг. Моля, имайте предвид, че трябва да се занимавате с кодировките само когато документът не посочва кодировка, тъй като Beautiful Soup не може автоматично да я открие. В тези редки случаи просто задавате оригиналната кодировка ръчно.