Proxy Spider 插件化利用工具

Proxy Spider for Python2.7 插件利用版-多线程

通过调用自写插件,在爬行代理的同时对代理进行检测可用性.


  • 环境说明

    Python 2.7环境
    requests 模块
    
  • 插件开发说明

    插件保存在 plugin/ 文件夹下
    

    插件开发格式(可参照66ip的插件开发规范)

    # 只需要修改code这部分就可以了
    class SpiderPlugin():
        def spiderIP():
            ...code...
            # return 的是 一个包含tuple的list
            # tuple 里严格格式为 ip,port 如 [(127.0.0.1,8080)]
            return [(ip,port),(ip,port)....]
    
  • 关于主文件 main.py 的说明

    range(线程数)  必须,两个range的值必须为一样的
    plugin=     默认为66ip 这个是你自己编写的爬虫插件
    timeout=    默认为10,主要是设置验证代理的超时时间
    filename=   默认为None,如果为None,只会把检测结果打印出来,为不会保存
    
  • 项目:

    git clone https://github.com/1oid/Proxy-Spider-by-plugins.git proxy-spider
    

    如有其他疑问,可以在我的github上留言,或者加我qq