1. Produk
  2.   HTML
  3.   Python
  4.   Requests-HTML
 
  

Perpustakaan Python untuk Parsing HTML & Pengambilan Web

Perpustakaan Python Open Source yang Memfasilitasi Parsing Halaman Web, Ekstraksi Data & Pengambilan Web. Ini memungkinkan parsing HTML tingkat lanjut, rendering JavaScript, dan lainnya.

Web adalah lautan informasi, dan sebagai pengembang perangkat lunak, kami sering menemukan diri kami perlu mengekstrak data spesifik dari situs web. Web scraping adalah teknik kuat yang memungkinkan kami mengotomatisasi proses pengumpulan data dari halaman web. Di antara banyak pustaka yang tersedia, Requests-HTML menonjol sebagai pilihan yang serbaguna dan ramah pengguna. Ini adalah pustaka Python yang memungkinkan web scraping dengan menggabungkan kekuatan dua pustaka populer - Requests dan BeautifulSoup. Pustaka ini dirancang dengan kesederhanaan dan kemudahan penggunaan, menjadikannya pilihan yang sangat baik untuk pemula maupun pengembang berpengalaman.

Pustaka Requests-HTML menyediakan API intuitif yang dirancang agar terasa mirip dengan pustaka Requests yang terkenal, sehingga mudah dipelajari bagi siapa saja yang familiar dengan permintaan HTTP. Ada beberapa fitur penting dalam pustaka ini, seperti parsing file HTML besar, dukungan selector CSS, dukungan selector XPath, user-agent tiruan, pengikut pengalihan otomatis, mengambil daftar semua tautan di halaman, mengambil isi teks suatu elemen, mencari tautan dalam sebuah elemen, mempertahankan persistensi sesi, rotasi user-agent yang mudah, dan banyak lagi.

Berbeda dengan parser HTML tradisional, Requests-HTML mampu merender konten JavaScript, menjadikannya cocok untuk situs web yang memuat data secara dinamis menggunakan AJAX atau kerangka kerja JavaScript. API yang intuitif, dukungan untuk rendering JavaScript, dan pemilihan elemen yang fleksibel menggunakan selector CSS atau XPath menjadikannya alat yang berharga untuk proyek web scraping apa pun. Baik Anda mengumpulkan data untuk penelitian atau membangun aplikasi web, pustaka Requests-HTML tentu layak dipertimbangkan. Jadi, mengapa tidak mencobanya dalam proyek web scraping berikutnya? Selamat coding!

Previous Next

Memulai dengan Requests-HTML

Cara yang direkomendasikan dan paling mudah untuk menginstal Requests-HTML adalah menggunakan pip. Silakan gunakan perintah berikut untuk instalasi yang lancar.

Instal Requests-HTML via pip

pip install requests-html

Anda juga dapat menginstalnya secara manual; unduh file rilis terbaru langsung dari GitHub repository.

Ekstrak Konten dari Halaman HTML melalui Python

Perpustakaan open source Requests-HTML memungkinkan pengembang perangkat lunak memuat dan mengekstrak konten dari file HTML di dalam aplikasi Python. Salah satu fitur inti yang membedakan perpustakaan ini adalah integrasinya yang mulus dengan PyQuery. Integrasi ini memungkinkan perpustakaan untuk dengan mudah mengurai dokumen HTML dan mengekstrak data menggunakan selector mirip jQuery. Fleksibilitas ini menyederhanakan ekstraksi data dan menghemat waktu serta upaya pengembang. Contoh berikut menunjukkan bagaimana pengembang perangkat lunak dapat mengekstrak judul dan tautan dari sebuah halaman web hanya dengan beberapa baris kode Python.

Bagaimana Mengekstrak Judul dan Tautan dari Halaman Web melalui API Python?

from requests_html import HTMLSession

url = 'https://www.example-blog.com'
session = HTMLSession()
response = session.get(url)

# Render JavaScript to ensure dynamic content loads
response.html.render()

# Extract titles and links of the latest articles
articles = response.html.find('.article')

for article in articles:
    title = article.find('.title', first=True).text
    link = article.find('a', first=True).attrs['href']
    print(f"Title: {title}\nLink: {link}\n")

Menganalisis Halaman Web & Mengekstrak Elemen Partikel melalui Python

Perpustakaan open source Requests-HTML telah menyediakan fitur yang sangat berguna untuk mengekstrak elemen tertentu di dalam dokumen HTML melalui API Python. Perpustakaan ini mendukung baik selector CSS maupun ekspresi XPath, memberi Anda fleksibilitas dalam memilih dan mengekstrak elemen spesifik dari halaman HTML. Perpustakaan ini juga mendukung penggunaan ekspresi XPath untuk pemilihan elemen yang lebih kompleks. Selain itu, perpustakaan ini menyediakan dukungan lengkap untuk berinteraksi dengan formulir web. Contoh berikut menunjukkan betapa mudahnya melakukan scraping sebuah halaman web menggunakan perpustakaan Requests-HTML.

Bagaimana Mengekstrak Elemen Tertentu dari Halaman HTMP melalui Perpustakaan Python?

from requests_html import HTMLSession

# Create an HTML session
session = HTMLSession()

# Send a GET request and render JavaScript (if any)
response = session.get('https://example.com')

# Access page content
html_content = response.text

# Extract specific elements using CSS selectors
titles = response.html.find('.article-title')

# Print the titles
for title in titles:
    print(title.text)
 Indonesia