设为首页
收藏本站
切换到宽版
登录
立即注册
找回密码
搜索
搜索
本版
帖子
用户
快捷导航
论坛
BBS
VIP用户组
官网群
无名商城论坛
»
论坛
›
资源分享区
›
学习资源专区
›
【冷漠】Python学习心得(三):fake_useragent
返回列表
发帖
查看:
241
|
回复:
0
[其他技术]
【冷漠】Python学习心得(三):fake_useragent
[复制链接]
无名
无名
当前离线
积分
32464
1万
主题
1万
帖子
3万
积分
管理员
积分
32464
发消息
发表于 2022-5-8 17:31:53
|
显示全部楼层
|
阅读模式
大家好,这里稚悠,觉得好的话就点个关注吧[玫瑰]
为了爬虫需要,经常要构造头部代理,而python的fake_useragent模块提供了这个功能,不需要每次都自己写一堆代理的代码了。
首先,fake_useragent在python3.5的版本上安装是有问题的,我是升级到3.7的版本之后再回去做了橡皮擦的课程练习,在橡皮擦老师的课程代码里面直接使用无参函数构造对象
实测下来会报错,搜索了一遍发现一般要禁用cache,也就是用下面的带参构造来创建对象
但是换了一个项目后,发现构造伪代理又出错了
这次决定彻底找到问题
百度过各种带参的构造方法
下载一个代理数据集合 https://fake-useragent.herokuapp.com/browsers/0.1.11,并将数据包放在项目目录下,使用该数据包来构造对象
使用的时候将该库所在的路径包含进去构造ua对象即可
当前如果禁用服务器cache的构造可以爬当前的网站,就没有必要再这么做了。
构造
,
useragent
,
对象
,
代理
,
橡皮擦
相关帖子
•
cloudreve搭建+对接onedrive
•
一张图让你明白什么是面向对象其二
•
【Tom】Java学习基础(一)
•
【原创技术】无root免流开热点教程
•
【Max】结绳第十二课
•
【夜未央】Oracle day05 教程
•
【DMT】cc攻击脚本
•
【FUT】代码分享:编辑框错误提示
•
【LUR】最新PHP粽子授权系统搭建教材
•
【解忧】最全的JAVA知识汇总(附讲解和思维导图)
回复
使用道具
举报
返回列表
发帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
快速回复
返回顶部
返回列表