设为首页
收藏本站
切换到宽版
登录
立即注册
找回密码
搜索
搜索
本版
帖子
用户
快捷导航
论坛
BBS
VIP用户组
官网群
无名商城论坛
»
论坛
›
资源分享区
›
学习资源专区
›
【Max】Python 爬虫入门(2)—— IP代理使用 ...
返回列表
发帖
查看:
263
|
回复:
0
[其他技术]
【Max】Python 爬虫入门(2)—— IP代理使用
[复制链接]
无名
无名
当前离线
积分
32464
1万
主题
1万
帖子
3万
积分
管理员
积分
32464
发消息
发表于 2022-5-8 17:52:35
|
显示全部楼层
|
阅读模式
上一节,大概讲述了Python 爬虫的编写流程, 从这节开始主要解决如何突破在爬取的过程中限制。比如,IP、JS、验证码等。这节主要讲利用IP代理突破。
1.关于代理
简单的说,代理就是换个身份。网络中的身份之一就是IP。比如,我们身在墙内,想要访问google、u2b、fb等,直接访问是404,所以要换个不会被墙的IP,比如国外的IP等。这个就是简单的代理。
在爬虫中,有些网站可能为了防止爬虫或者DDOS等,会记录每个IP的访问次数,比如,有些网站允许一个IP在1s(或者别的)只能访问10次等,那么我们就需要访问一次换一个IP(具体什么策略,自己决定)。
那么问题来了,这些代理从哪得到?对于公司来讲,买代理IP。但是对于个人的话,可能会有浪费。那么怎么办呢?网上有很多免费的代理IP网站,但是手动更改的话,很浪费时间,并且免费的IP有很多不可用。所以,我们可以用爬虫爬那么IP。用上一节的代码,完全可以做到
楼层更新教程
爬虫
,
代理
,
访问
,
比如
,
那么
相关帖子
•
【Max】Python 爬虫入门(4)—— 验证码上篇
•
【Max】Python 爬虫入门(1)
•
【GD】PHP实例-访问实例
•
介绍一款非常好用的手机用的python软件
•
【原创】网站SEO优化
•
【kali Linux详细安装教程】
•
【DMT】cc攻击脚本
•
SQV8访问接口指令
•
【LUR】最新PHP粽子授权系统搭建教材
回复
使用道具
举报
返回列表
发帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
快速回复
返回顶部
返回列表