1. Produkter
  2.   HTML
  3.   Python
  4.   Requests-HTML
 
  

Python-bibliotek til HTML-parsing og webscraping

Open source Python-bibliotek, der muliggør websides parsing, dataudtrækning og webscraping. Det tillader avanceret HTML-parsing, JavaScript-rendering og mere.

Webbet er et informationshav, og som softwareudviklere befinder vi os ofte i behov af at udtrække specifikke data fra hjemmesider. Webscraping er en kraftfuld teknik, der gør det muligt at automatisere processen med at indsamle data fra websider. Blandt de mange tilgængelige biblioteker skiller Requests-HTML sig ud som en alsidig og brugervenlig mulighed. Det er et Python-bibliotek, der muliggør webscraping ved at kombinere kraften fra to populære biblioteker – Requests og BeautifulSoup. Det er designet med enkelhed og brugervenlighed for øje, hvilket gør det til et fremragende valg for både begyndere og erfarne udviklere.

Requests-HTML-biblioteket leverer et intuitivt API, der er designet til at føles som det velkendte Requests-bibliotek, hvilket gør det nemt at komme i gang for enhver, der er bekendt med HTTP-forespørgsler. Der er flere vigtige funktioner i biblioteket, såsom parsing af store HTML-filer, understøttelse af CSS-selectors, understøttelse af XPath-selectors, mocket user-agent, automatisk håndtering af omdirigeringer, hente en liste over alle links på siden, hente et elements tekstindhold, søge efter links inden for et element, opretholde sessionspersistens, nem rotation af user-agent og meget mere.

Udover traditionelle HTML-parsere er Requests-HTML i stand til at gengive JavaScript-indhold, hvilket gør det egnet til hjemmesider, der indlæser data dynamisk ved hjælp af AJAX eller JavaScript-rammeværk. Dets intuitive API, understøttelse af JavaScript-gengivelse og fleksible elementvalg ved brug af CSS-selectors eller XPath gør det til et værdifuldt værktøj for ethvert webscraping-projekt. Uanset om du indsamler data til forskning eller bygger en webapplikation, er Requests-HTML-biblioteket bestemt værd at overveje. Så hvorfor ikke prøve det i dit næste webscraping-projekt? God kodning!

Previous Next

Kom i gang med Requests-HTML

Den anbefalede og nemmeste måde at installere Requests-HTML på er ved at bruge pip. Brug venligst følgende kommando for en problemfri installation.

Installer Requests-HTML via pip

pip install requests-html

Du kan også installere det manuelt; download de seneste udgivelsesfiler direkte fra GitHub-repository.

Udtræk indhold fra en HTML-side via Python

Det open source Requests-HTML-bibliotek gør det muligt for softwareudviklere at indlæse og udtrække indhold fra en HTML-fil i Python-applikationer. En af de centrale funktioner, der adskiller biblioteket, er dets problemfri integration med PyQuery. Denne integration gør det muligt for biblioteket at parse HTML-dokumenter ubesværet og udtrække data ved hjælp af jQuery-lignende selektorer. Denne fleksibilitet forenkler dataudtræk og sparer udviklere tid og kræfter. Følgende eksempler viser, hvordan softwareudviklere kan udtrække titler og links fra en webside med blot et par linjer Python-kode.

Hvordan udtrækker man titlerne og linksene på en webside via Python API?

from requests_html import HTMLSession

url = 'https://www.example-blog.com'
session = HTMLSession()
response = session.get(url)

# Render JavaScript to ensure dynamic content loads
response.html.render()

# Extract titles and links of the latest articles
articles = response.html.find('.article')

for article in articles:
    title = article.find('.title', first=True).text
    link = article.find('a', first=True).attrs['href']
    print(f"Title: {title}\nLink: {link}\n")

Parse en webside & udtræk et specifikt element via Python

Det open source Requests-HTML-bibliotek har leveret en meget nyttig funktion til at udtrække et specifikt element i et HTML-dokument via Python-API'et. Biblioteket understøtter både CSS-selektorer og XPath-udtryk, hvilket giver dig fleksibilitet til at vælge og udtrække specifikke elementer fra HTML-siden. Biblioteket understøtter også brugen af XPath-udtryk til mere komplekse elementvalg. Biblioteket giver desuden fuld support til interaktion med webformularer. Følgende eksempel viser, hvor enkelt det er at skrabe en webside ved hjælp af Requests-HTML-biblioteket.

Hvordan udtrækker man et bestemt element på en HTMP-side via Python-biblioteket?

from requests_html import HTMLSession

# Create an HTML session
session = HTMLSession()

# Send a GET request and render JavaScript (if any)
response = session.get('https://example.com')

# Access page content
html_content = response.text

# Extract specific elements using CSS selectors
titles = response.html.find('.article-title')

# Print the titles
for title in titles:
    print(title.text)
 Dansk