免费 Python 库,用于从 HTML 页面提取内容
开源 Python 库,用于提取网页内容,如图像和文本、发布日期、语言信息等。
在数字信息时代,数据丰富且在互联网上随手可得。从网站提取相关信息可能是一项繁琐的任务,但使用 Python-Goose 库,网页抓取变得轻而易举。Python-Goose 是一个强大且用户友好的库,能够让开发者轻松地从网页中提取结构化数据。它由 Julian Moreno Patiño 开发,旨在提取网页中的有意义内容,如文章。该库使用一套启发式算法和自然语言处理技术来分析 HTML 文档并识别相关的文本内容。
Python-Goose 非常易于安装,并且提供了对多语言网站的完整支持。该库集成了语言检测功能,能够自动识别网页内容的语言。库中包含多项重要特性,例如内容聚合、为研究和分析目的提取结构化数据、视频提取、生成文章摘要、为训练机器学习模型预处理网页数据、从网页中提取图像等。
Python-Goose 是一个用 Python 编写的开源库,提供了一种简单而有效的方式来处理网页抓取任务,旨在从 Python 应用程序中的网页提取有价值的信息。它采用多种算法和启发式方法来识别最相关的文本并剔除无关元素。无论您是数据科学家、市场研究员、构建数据驱动的应用程序,还是进行研究,Python-Goose 都能显著简化工作流程,帮助您从浩瀚的互联网中提取有价值的洞见。
Python-Goose 入门指南
推荐且最简便的安装 Python-Goose 方法是使用 Composer,这是一款 PHP 的依赖管理工具。请使用以下命令进行顺利安装。
使用 Python API 提取文章
开源的 Python-Goose 库提供了非常有用的功能,用于加载和提取各种类型网站的内容。该库专注于从网页中提取文章,过滤掉广告、页眉、页脚和侧栏等不必要的元素。此外,它侧重于获取核心内容,包括标题、文本、作者、出版日期以及其他相关元数据。下面是一个非常实用的示例,展示用户如何定义想要抓取的网页 URL,并能够轻松访问文章对象的各种属性,如标题、作者、发布日期和清理后的文本。
如何通过 Python API 从网站提取文章?
from goose3 import Goose
url = "https://example.com/article"
g = Goose()
article = g.extract(url)
print("Title:", article.title)
print("Authors:", article.authors)
print("Publish Date:", article.publish_date)
print("Article Text:", article.cleaned_text)
通过 Python 提取多语言特定网页信息
Python-Goose 库集成了语言检测功能,能够自动识别网页内容的语言。该功能在处理多语言网站或需要根据语言过滤内容时特别有用。该库允许软件开发者访问网页的特定部分并提取,例如文章的主体文本、文章图片、Meta 描述、Meta 标签等。下面的示例展示了如何使用 Python 代码提取或抓取西班牙语内容。
如何在 Python 应用中提取网页的西班牙语内容?
from goose import Goose
url = 'http://sociedad.elpais.com/sociedad/2012/10/27/actualidad/1351332873_157836.html'
g = Goose()
article = g.extract(url=url)
article.title
u'Las listas de espera se agravan'
article.cleaned_text[:150]
u'Los recortes pasan factura a los pacientes. De diciembre de 2010 a junio de 2012 las listas de espera para operarse aumentaron un 125%. Hay m\xe1s ciudad'