Biblioteca Python de Código Abierto para Analizar HTML/XML y Extraer Datos

Comenzando con Beautiful Soup

La forma recomendada y más fácil de instalar Beautiful Soup es usando pip. Por favor, use el siguiente comando para una instalación sin problemas.

pip install beautifulsoup4 

Trabajar con múltiples analizadores

La biblioteca Beautiful Soup no realiza todo el análisis por sí misma; en su lugar, se apoya en analizadores maduros como el html.parser incorporado de Python, el rápido analizador lxml y el html5lib similar a un navegador. Según sus necesidades, puede priorizar la velocidad o el cumplimiento de estándares. Esta arquitectura le brinda flexibilidad para elegir el analizador que mejor se adapte a sus requerimientos, intercambiar velocidad de análisis por flexibilidad, probar diferentes estrategias de análisis sin cambiar su código de Beautiful Soup, etc. El siguiente código simple muestra cómo los desarrolladores pueden usar diferentes analizadores con Beautiful Soup.

# Using different parsers with Beautiful Soup
html_doc = "
Contenido de ejemplo
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Extrayendo enlaces de páginas web

Extraer enlaces es una tarea común de web scraping, particularmente útil para crear rastreadores web. La biblioteca de código abierto Beautiful Soup incluye soporte para cargar páginas web y extraer enlaces dentro de aplicaciones Python. El siguiente ejemplo de código simple muestra cómo obtener una página web en vivo usando la biblioteca requests, y luego extraer todas las etiquetas de anclaje dentro de aplicaciones Python.

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Buscando elementos HTML específicos

Una de las mayores fortalezas de Beautiful Soup es lo natural que permite buscar en HTML, casi como leer inglés sencillo. En lugar de lidiar con APIs DOM complejas, describes lo que deseas y Beautiful Soup lo encuentra por ti. Supongamos que quieres encontrar todos los enlaces en una página. Puedes usar el método find_all como se muestra en el siguiente ejemplo de código. El método devuelve una lista de todas las etiquetas de enlace. Luego iteramos sobre ellas para extraer la URL y el texto y obtener el nombre visible del enlace usando la API de Python.

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")

Manejo automático de codificación

Una de las características más convenientes de Beautiful Soup es su conversión automática de codificaciones. La biblioteca convierte automáticamente los documentos entrantes a Unicode y los documentos salientes a UTF-8, eliminando uno de los dolores de cabeza más comunes en el raspado web. Recuerde que solo necesita preocuparse por las codificaciones cuando el documento no especifica una codificación, ya que Beautiful Soup no puede detectar automáticamente la codificación. En estos casos raros, simplemente debe especificar la codificación original manualmente.