HTML/XML을 파싱하고 데이터를 추출하는 오픈 소스 파이썬 라이브러리

pip을 통해 Beautiful Soup 라이브러리 설치

pip install beautifulsoup4 

수동으로 설치할 수도 있습니다; 최신 릴리스 파일을 Beautiful Soup 웹 페이지에서 직접 다운로드하십시오.

Python 앱에서 HTML 문서를 파싱하기 위해 여러 파서를 사용하는 방법은?

# Using different parsers with Beautiful Soup
html_doc = "
샘플 콘텐츠
"

# Using lxml parser (fast)
soup_lxml = BeautifulSoup(html_doc, 'lxml')

# Using html5lib parser (slower but more lenient)
soup_html5lib = BeautifulSoup(html_doc, 'html5lib')

# Using Python's built-in parser
soup_builtin = BeautifulSoup(html_doc, 'html.parser')

Python을 사용하여 웹 페이지에서 링크를 추출하는 방법은?

from bs4 import BeautifulSoup
import requests

# Fetch a real webpage
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Extract all links
links = soup.find_all('a')

print(f"Found {len(links)} links:")
for link in links:
    href = link.get('href')
    text = link.get_text().strip()
    print(f"Text: {text} | URL: {href}")

# Filter links by criteria
external_links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href and href.startswith('http'):
        external_links.append(href)

print(f"\nFound {len(external_links)} external links")

Python API를 통해 웹 페이지에서 특정 HTML 요소를 검색하고 추출하는 방법은?

# Extract all anchor tags
links = soup.find_all('a')

for link in links:
    href = link.get('href')
    text = link.text.strip()
    print(f"Text: {text} | URL: {href}")