无名商城论坛

搜索
查看: 241|回复: 0

[其他技术] 【冷漠】Python学习心得(三):fake_useragent

[复制链接]

1万

主题

1万

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
32464
发表于 2022-5-8 17:31:53 | 显示全部楼层 |阅读模式

大家好,这里稚悠,觉得好的话就点个关注吧[玫瑰]
为了爬虫需要,经常要构造头部代理,而python的fake_useragent模块提供了这个功能,不需要每次都自己写一堆代理的代码了。

首先,fake_useragent在python3.5的版本上安装是有问题的,我是升级到3.7的版本之后再回去做了橡皮擦的课程练习,在橡皮擦老师的课程代码里面直接使用无参函数构造对象
实测下来会报错,搜索了一遍发现一般要禁用cache,也就是用下面的带参构造来创建对象
但是换了一个项目后,发现构造伪代理又出错了
这次决定彻底找到问题
百度过各种带参的构造方法
下载一个代理数据集合 https://fake-useragent.herokuapp.com/browsers/0.1.11,并将数据包放在项目目录下,使用该数据包来构造对象
使用的时候将该库所在的路径包含进去构造ua对象即可
当前如果禁用服务器cache的构造可以爬当前的网站,就没有必要再这么做了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表