Python爬取代理IP&多线程验证

发布于 2020-04-14  182 次阅读


最近发现了几个不错的代理IP提取站,正好在研究Python,顺手写了个小的脚本,可以一键提取所有IP且支持多线程验证,安装好Python3直接执行就可以了,新手写的也许有BUG。

项目


里面的Proxy-IP.py文件

模块

pip3 install html5lib
pip3 install requests
pip3 install beautifulsoup4

其他模块PY3应该自带,有问题看报错,自己补哈:-D

说明

如果你要添加其他的代理站,可以参考代码L121&L138,我内置了四种匹配规则应该能匹配大部分代理站结构

演示


Never give up your dreams.