信阳新闻网欢迎您!

Oxylabs 整理出九个项目以证明网络抓取彻底改变研究

2023-01-19 16:37:50
欢迎订阅《信阳手机报》移动用户发送短信 XYSJB10658300即可开通 3元/月 不收GPRS流量费
网络抓取以收集大数据的方式彻底改变了学术和专业研究。利用先进的收集数据的方法,可以更快实现更高层次的数据提取,从而在医疗保健、金融、生态、政治和经济领域创造全新的研究机会。

数字格局催生新的研究

随着人们越来越多地在线开展业务、个人和专业事务,全世界的新数据来源不断得到创建。随着这些来源的扩展,研究人员发现了开发新研究并获取新洞察的新机会。

先进的洞察还可能带来新的问题,创造一种循环来推动进一步研究及增进对相关主题的理解。因此,研究人员可改进发现结果,得出更加准确的结论,并提出更好的解决方案来应对影响人员、企业和政府的问题。

研究人员如何获取高质量数据

旧数据来源包括期刊、购买的数据集,以及从互联网手动收集的信息。这些方法不仅要耗费大量资源,而且通常需要花费很多小时手动录入电子表格,这个过程繁琐、耗时、容易出错。

如今的研究格局要优越得多。研究人员现在可访问涵盖几乎所有主题的大量在线数据。例如,包含历史股票信息的金融网站、包含药物临床试验的数据库,以及包含详细产品和定价信息的在线商城。

利用现代数据采集方法,研究人员可大规模提取信息并自动更新其数据库。例如,设想一种在线资源,其中包含数千个股票,包括历史价格信息、当前新闻和交易量。利用网络抓取,可以从该网站每秒发起成千上万个数据请求,并以分析师可以轻松阅读的电子表格格式交付信息。

网络抓取的工作原理

先进的网络抓取需要创建以 Python 等编程语言编写的脚本(或“机器人”),用于检索网站并提取数据。或者,更小或个人的数据提取项目可以使用浏览器扩展来执行,此类扩展解析网站 HTML,并以电子表格格式导出信息。

另一种替代方法是可以轻松定制的网络抓取 API。选择使用此解决方案的研究人员可以快速大规模提取信息,避免许多常见的过程挑战,这样他们可以专注于获取洞察用于研究目的。

通过网络抓取来推动的九个研究项目

利用网络抓取可以在经济、医疗保健、生态和政治领域开展新研究,研究人员可以从新兴的在线资源采集数据。如果没有自动化,一些项目就必须借助数百小时的手动数据收集、录入和处理,才有可能完成。

最近的一些示例包括:

1. 阿片类药物相关的死亡跟踪

牛津大学研究人员下载了超过 3000 份 PDF 文档,研究英国的阿片类药物致死案例。利用网络抓取可以显著扩展项目的规模,这样他们可以专注于其他与研究相关的任务。《自然》(Nature)杂志有一篇介绍该项目的文章写道:“我们每小时可以手动筛选和保存大约 25 个案例报告。现在,我们的程序每小时可以保存 1000 多个案例,同时我们可以处理其他事情,节省的时间高达 40 倍。”

自动化数据收集还带来了协作机会。通过发布数据库并频繁重新运行该程序,研究人员可将发现结果与学术界分享,从而不断地丰富该项目。

2. 跟踪临床试验

研究之前示例中的阿片类药物致死案例的牛津大学研究人员还使用网络抓取从临床试验登记处采集信息,进一步开发其发布的数据集,用于跟踪英国的初级保健处方开具情况。

3. GDP 即时预测

政府实体通常每季度公布国内生产总值(GDP)。利用网络抓取研究人员可以更频繁地预测 GDP。

GDP 的计算方式是将消费、投资、政府开支和净出口加起来。这些组成部分大多数是高频指标,可以从在线来源抓取,从而可以创建在官方公告之前预测 GDP 的模型。

全世界的储备银行目前都利用该方法,包括美国、欧盟、南非、中国、巴西和日本。

4. 新冠病毒跟踪

日本银行(BOJ)积极使用替代数据(即“官方”政府和企业报告之外的信息)来评估经济支柱产业并制定政策。最近的应用包括在新冠疫情期间收集出行数据,揭示步行交通、金融交易和机场进出情况。

5. 价格通胀

波兰的研究人员从各大在线零售商采集了食品和非酒精饮料价格,采集了一种框架来评估近期的通胀率(也称为“即时预测”)。他们证明了,在简单、递归式优化的模型中纳入在线食品价格可有效预测通胀,甚至超越传统方法。

6. 失业保险索赔

失业率在新冠疫情期间达到历史新高,突显了预测失业率以估算失业索赔的迫切性。研究人员在最近一份文件中探究了美国 2020 年春季的信息集和数据结构,以预测失业情况,以及如何使用这些数据预测失业索赔。

7. 生态洞察

环境研究人员从谷歌趋势(Google Trends)、新闻文章和社交媒体提取数据,获得对物种出现频率、行为、特征、物候学、功能角色和非生物环境特征的洞察。这种新兴的研究方法称为“iEcology”,旨在使用来自公开来源的数字数据以量化自然环境中的模式和过程。

8. 政治情绪

互联网用户在社交媒体网络和公共论坛上越来越勇于表达对政治事务的观点。政治团体也在利用这一趋势,抓取在线来源以识别关键问题,并使用该数据制定竞选内容。

9. ESG 数据

环境、社会和治理(Environment, Social, and Governance,简称 ESG)投资准则旨在解决气候变化问题、温室气体排放、水资源管理和减少废物。投资经理和金融分析师可以通过抓取包含 ESG 数据的在线数据库来评估一个实体遵守这些准则的情况。

为下一个研究项目探索抓取解决方案

在线公开可用的来源可以通过各种方式抓取,具体取决于项目的规模和范围。选择合适的抓取解决方案至关重要,这样才能更好地利用网络数据,并推动研究走向成功。

作者:Aleksandras Sulzenko,Oxylabs 产品负责人

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

文章投诉热线:156 0057 2229 文章投诉邮箱:291 32 36@qq.com

标签:

  • 报晓风
  • 信阳日报微信信阳日报微信
  • 掌上信阳微信
  • 信阳日报新浪微博
  • 信阳日报腾讯微博

请您文明上网、理性发言,并遵守相关规定。网友评论

验证码:

网友评论仅供其表达个人看法,并不表明信阳新闻网立场。

评论列表
还没有评论,快来抢沙发吧!
回到顶部

工信部备案:豫ICP备09044067号

河南省互联网新闻信息服务许可证 编号:01201517001

信息网络传播视听节目许可证 编号:1910522

豫公网安备:41159002000089号

河南省违法和不良信息举报中心

违法和不良信息举报受理和处置管理办法

app手机客户端
信阳网络辟谣
订阅手机报 信阳手机报
拒绝野味 远离病毒 信阳手机报