Открытая библиотека Python для разбора HTML/XML и извлечения данных

Начало работы с Beautiful Soup

Рекомендуемый и самый простой способ установить Beautiful Soup — использовать pip. Пожалуйста, используйте следующую команду для беспроблемной установки.

pip install beautifulsoup4 

Работа с несколькими парсерами

Библиотека Beautiful Soup не выполняет весь парсинг самостоятельно — вместо этого она работает поверх зрелых парсеров, таких как встроенный в Python html.parser, быстрый парсер lxml и браузероподобный html5lib. В зависимости от потребностей вы можете отдавать приоритет скорости или соответствию стандартам. Такая архитектура предоставляет гибкость выбора парсера, который лучше всего подходит вашим требованиям, позволяет обменивать скорость парсинга на гибкость, пробовать разные стратегии парсинга без изменения кода Beautiful Soup и т.д. Следующий простой код показывает, как разработчики могут использовать разные парсеры с Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Пример содержимого
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Извлечение ссылок с веб-страниц

Скрейпинг ссылок — распространённая задача веб‑скрейпинга, особенно полезная для создания веб‑краулеров. Открытая библиотека Beautiful Soup включает поддержку загрузки веб‑страниц и извлечения из них ссылок в приложениях на Python. Ниже приведён простой пример кода, демонстрирующий получение живой веб‑страницы с помощью библиотеки requests, а затем извлечение всех тегов‑якорей в приложениях на Python.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Поиск конкретных HTML-элементов

Одно из главных преимуществ Beautiful Soup — насколько естественно она позволяет искать по HTML, почти как читать простой английский. Вместо работы со сложными DOM‑API вы описываете, что вам нужно, и Beautiful Soup находит это за вас. Предположим, вы хотите найти все ссылки на странице. Вы можете использовать метод find_all, как показано в следующем примере кода. Метод возвращает список всех тегов‑ссылок. Затем мы проходим по ним, извлекая URL и текст, чтобы получить видимое название ссылки с помощью Python API.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Автоматическая обработка кодировок

Одна из самых удобных функций Beautiful Soup — автоматическое преобразование кодировок. Библиотека автоматически конвертирует входящие документы в Unicode и исходящие документы в UTF-8, устраняя одну из самых распространённых проблем при веб-скраппинге. Пожалуйста, помните, что о кодировках нужно задумываться только тогда, когда документ не указывает кодировку, поскольку Beautiful Soup не может автоматически её определить. В этих редких случаях вы просто указываете оригинальную кодировку вручную.