教你一招另辟蹊径抓取美团火锅数据
最近有个小伙伴在群里问美团数据怎么获取,而且她只要火锅数据,她在上海,只要求抓上海美团火锅的数据,而且要求也不高,只要100条,想做个简单的分析,相关的字段如下图所示。乍一看,这个问题还真的是蛮难的,毕竟美团也不是那么好抓,什么验证码,模拟登陆等一大堆拂面而来,吓得小伙伴都倒地了
最近有个小伙伴在群里问美团数据怎么获取,而且她只要火锅数据,她在上海,只要求抓上海美团火锅的数据,而且要求也不高,只要100条,想做个简单的分析,相关的字段如下图所示。
乍一看,这个问题还真的是蛮难的,毕竟美团也不是那么好抓,什么验证码,模拟登陆等一大堆拂面而来,吓得小伙伴都倒地了。
通过F12查看,抓包,分析URL,找规律,等等操作。
不过白慌,今天小编给大家介绍一个小技巧,另辟蹊径去搞定美团的数据,这里需要用到抓包工具Fiddler。讲道理,之前我开始接触网络爬虫的时候也没有听过这个东东,后来就慢慢知道了,而且它真的蛮实用的,建议大家都能学会用它。这个工具专门用于抓包,而且其安装包也非常小,如下图所示。
接下来,我们开始进行抓取信息。
1、在Fiddler的左侧找到meituan网站的链接,如下图所示。链接的左边返回的response(响应)的文件类型,可以看到是JSON文件,尔后双击这一行链接。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
1039
1854
有冇SmartoneAI
2020收录工具
13712文章
2M访客
热门网址
AIGC热点
热点
-
19打开,有戏
时间线
74
323
375
417
热门标签
热门工具
腾讯混元大模型
腾讯研发的大语言模型,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力
H2O EvalGPT
H2O.ai推出的基于Elo评级方法的大模型评估系统
像素蛋糕PixCake
简单易用的AI图像精修工具
豆包
字节跳动最新推出的免费AI对话助手
Grok
马斯克旗下xAI推出的人工智能助手
讯飞智文
科大讯飞推出的免费AI PPT生成工具
Apple Store
扫码加公众号
本站内容源自互联网,如有内容侵犯了你的权益,请联系删除相关内容,联系邮箱:youmao@neone.com.cn
© 2010 - 2024 | 沪ICP备16045468号-5