泛蜘蛛:
架构:
1.基于Python3.7开发
2.采用Sanic异步框架 + Jinja2模板引擎
3.采用Redis数据库
优势:
1.一条命令全自动安装完成
2.集成深度爬虫,输入网址即可采集网站文章
3.简单、好用、稳定、安全
4.根据服务器CPU核心自动开启多进程服务
5.提供标签及文档,可自由设计前端模板,随意更改URL样式
后台界面:
简单、干净
后台功能:
提供数据统计、安全设置、数据管理、爬虫管理、广告管理、模板管理等常用功能
从最初的1.0更新至现在的11.0,期间重构过多次,优化并修复若干BUG,目前最新版本已经非常稳定了。
系统要求:Ubuntu18.04(其他系统也行,只要你会安装Docker)
安装演示:https://www.bilibili.com/video/av73271874
泛蜘蛛使用文档:https://www.kancloud.cn/io123/fanspider/1328777
安装说明:
1. 准备一台Ubuntu18.04的服务器(其他系统也行,只要你会安装docker)
2. 服务器最好是国外,因为国内服务器存在拉取不了镜像的问题。
3. 以下是安装命令,连接到linux终端后执行,命令执行完成后如果显示 -----ok------ ,则说明安装成功
- sudo apt-get update&&sudo wget -qO- https://get.docker.com/ | bash&&sudo systemctl enable docker&&sudo systemctl start docker&&sudo apt install -y python3-pip&&sudo pip3 install setuptools docker-compose&&cd /home&&sudo wget https://fanhk-1254117982.cos.ap-hongkong.myqcloud.com/fan.tar&&sudo tar -xf fan.tar&&sudo docker-compose up -d&&echo -e "n--------ok--------n"
PS:禁止使用本系统(泛蜘蛛)建立任何违法站点,包括但不限于(色情,小说,赌博)等;禁止在未经对方网站同意的情况下, 使用本系统(泛蜘蛛)的爬虫功能对目标网站进行内容采集。用户在使用过程中带来的一切责任 由用户本人自行承担,与本系统(泛蜘蛛)及开发者无关。使用本系统则代表默认同意以上声明。