1. Продукти
  2.   HTML
  3.   Python
  4.   Requests-HTML
 
  

Бібліотека Python для парсингу HTML та веб-скрапінгу

Відкрита Python бібліотека, яка полегшує парсинг веб-сторінок, вилучення даних та веб-скрапінг. Вона дозволяє просунутий парсинг HTML, рендеринг JavaScript та інше.

Веб — це океан інформації, і як розробники програмного забезпечення, ми часто опиняємося в ситуації, коли потрібно витягти конкретні дані з веб‑сайтів. Веб‑скрапінг — це потужна техніка, яка дозволяє автоматизувати процес збору даних з веб‑сторінок. Серед багатьох доступних бібліотек Requests-HTML виділяється як універсальний і зручний варіант. Це бібліотека Python, яка забезпечує веб‑скрапінг, поєднуючи потужність двох популярних бібліотек — Requests і BeautifulSoup. Вона була створена з урахуванням простоти та легкості використання, що робить її відмінним вибором як для початківців, так і для досвідчених розробників.

Бібліотека Requests-HTML надає інтуїтивно зрозумілий API, який розроблений так, щоб нагадувати добре відому бібліотеку Requests, що полегшує її освоєння для будь-кого, хто знайомий з HTTP‑запитами. У бібліотеці є кілька важливих функцій, таких як парсинг великих HTML‑файлів, підтримка CSS‑селекторів, підтримка XPath‑селекторів, імітація user-agent, автоматичне слідування перенаправленням, отримання списку всіх посилань на сторінці, отримання текстового вмісту елемента, пошук посилань всередині елемента, збереження сеансової стійкості, легка ротація user-agent та багато іншого.

На відміну від традиційних HTML‑парсерів, Requests-HTML здатний рендерити JavaScript‑контент, що робить його придатним для веб‑сайтів, які динамічно завантажують дані за допомогою AJAX або JavaScript‑фреймворків. Його інтуїтивний API, підтримка рендерингу JavaScript та гнучкий вибір елементів за допомогою CSS‑селекторів або XPath роблять його цінним інструментом для будь‑якого проєкту веб‑скрапінгу. Незалежно від того, чи збираєте ви дані для досліджень, чи створюєте веб‑застосунок, бібліотека Requests-HTML безумовно варта розгляду. Тож чому б не спробувати її у вашому наступному проєкті веб‑скрапінгу? Щасливого кодування!

Previous Next

Початок роботи з Requests-HTML

Рекомендований і найпростіший спосіб встановити Requests-HTML — використати pip. Будь ласка, використайте наступну команду для плавної інсталяції.

Встановіть Requests-HTML за допомогою pip

pip install requests-html

Ви також можете встановити його вручну; завантажте останні файли релізу безпосередньо з репозиторію GitHub.

Витягнення вмісту з HTML-сторінки за допомогою Python

Відкритий бібліотека Requests-HTML дозволяє розробникам програмного забезпечення завантажувати та витягати вміст з HTML‑файлу всередині Python‑застосунків. Однією з ключових особливостей, що вирізняє бібліотеку, є її безшовна інтеграція з PyQuery. Ця інтеграція дозволяє бібліотеці без зусиль аналізувати HTML‑документи та витягувати дані за допомогою селекторів, схожих на jQuery. Така гнучкість спрощує вилучення даних і заощаджує розробникам час і зусилля. Нижче наведено приклади, які показують, як розробники можуть витягти заголовки та посилання веб‑сторінки всього кількома рядками коду Python.

Як витягнути заголовки та посилання веб-сторінки за допомогою Python API?

from requests_html import HTMLSession

url = 'https://www.example-blog.com'
session = HTMLSession()
response = session.get(url)

# Render JavaScript to ensure dynamic content loads
response.html.render()

# Extract titles and links of the latest articles
articles = response.html.find('.article')

for article in articles:
    title = article.find('.title', first=True).text
    link = article.find('a', first=True).attrs['href']
    print(f"Title: {title}\nLink: {link}\n")

Парсинг веб-сторінки та витягнення певного елементу за допомогою Python

Відкрита бібліотека Requests-HTML надала дуже корисну функцію для витягнення конкретного елементу всередині HTML‑документа за допомогою Python‑API. Бібліотека підтримує як CSS‑селектори, так і вирази XPath, що дає вам гнучкість у виборі та вилученні конкретних елементів зі сторінки HTML. Бібліотека також підтримує використання виразів XPath для більш складного вибору елементів. Крім того, бібліотека забезпечує повну підтримку взаємодії з веб‑формами. Нижче наведено приклад, який демонструє, наскільки просто скрапити веб‑сторінку за допомогою бібліотеки Requests-HTML.

Як витягнути певний елемент HTMP-сторінки за допомогою бібліотеки Python?

from requests_html import HTMLSession

# Create an HTML session
session = HTMLSession()

# Send a GET request and render JavaScript (if any)
response = session.get('https://example.com')

# Access page content
html_content = response.text

# Extract specific elements using CSS selectors
titles = response.html.find('.article-title')

# Print the titles
for title in titles:
    print(title.text)
 Українська