Biblioteca Python de Código Aberto para Analisar HTML/XML e Extrair Dados

Começando com Beautiful Soup

A maneira recomendada e mais fácil de instalar o Beautiful Soup é usando pip. Por favor, use o comando a seguir para uma instalação tranquila.

pip install beautifulsoup4 

Trabalhando com múltiplos analisadores

A biblioteca Beautiful Soup não faz toda a análise sozinha — em vez disso, ela se apoia em analisadores maduros como o html.parser interno do Python, o rápido analisador lxml e o html5lib, semelhante a um navegador. Dependendo das necessidades, você pode priorizar velocidade ou conformidade com padrões. Essa arquitetura oferece flexibilidade para escolher o analisador que melhor se adapta às suas necessidades, trocar velocidade de análise por flexibilidade, experimentar diferentes estratégias de análise sem alterar seu código Beautiful Soup, e assim por diante. O código simples a seguir mostra como os desenvolvedores podem usar diferentes analisadores com o Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Conteúdo de exemplo
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Extraindo links de páginas da web

Extrair links é uma tarefa comum de web scraping, particularmente útil para construir rastreadores web. A biblioteca de código aberto Beautiful Soup inclui suporte para carregar páginas da web e extrair links dentro de aplicações Python. O exemplo de código simples a seguir demonstra como buscar uma página web ao vivo usando a biblioteca requests, e então extrair todas as tags de âncora dentro de aplicações Python.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Procurando elementos HTML específicos

Uma das maiores forças do Beautiful Soup é a forma natural como ele permite pesquisar HTML, quase como ler inglês simples. Em vez de lidar com APIs DOM complexas, você descreve o que deseja, e o Beautiful Soup encontra para você. Suponha que você queira encontrar todos os links em uma página. Você pode usar o método find_all conforme mostrado no exemplo de código a seguir. O método retorna uma lista de todas as tags de link. Em seguida, iteramos sobre elas para extrair a URL e o texto e obter o nome visível do link usando a API Python.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Manipulação automática de codificação

Um dos recursos mais convenientes do Beautiful Soup é sua conversão automática de codificação. A biblioteca converte automaticamente documentos de entrada para Unicode e documentos de saída para UTF-8, eliminando uma das dores de cabeça mais comuns na raspagem de sites. Lembre‑se de que você só precisa se preocupar com codificações quando o documento não especifica uma codificação, pois o Beautiful Soup não consegue detectar a codificação automaticamente. Nesses casos raros, basta especificar a codificação original manualmente.