当前位置:首页 > vps服务器 >

如何利用动态ADSL拨号的VPS服务器搭建稳定IP代理

时间:2019-10-25 18:29       来源: 大鲸vps 浏览

  如何利用动态ADSL拨号的VPS服务器搭建稳定IP代理池

如何利用动态ADSL拨号的VPS服务器搭建稳定IP代理池

  一、环境介绍VPS服务器:大鲸VPS 操作系统:CenterOS 7.1 HTTP代理服务器:TinyProxy

  二、介绍 什么是ADSL,我们为什么要使用ADSL拨号的VPS服务器来搭建IP代理池?

  ADSL属于DSL技术的一种,全称Asymmetric Digital Subscriber Line( 非对称数字用户线路),亦可称作非对称数字用户环路。 是一种新的数据传输方式。 ADSL技术提供的上行和下行带宽不对称,因此称为非对称数字用户线路。

  平常我们看到的VPS或云服务器,它的IP地址通常是固定不变的,主要用于建站。而动态IP拨号服务器则主要用于更换IP,也可以在服务器上直接部署业务,比较方便,但不能用于建站,这也是二者最大的区别。

  ADSL拨号服务器又叫动态拨号VPS、动态IP VPS或者拨号VPS,主要是相对于平常所见到的固定IP 的VPS服务器而言的。ADSL拨号服务器可以在VPS服务器上实现更换IP的作用,拨一次号换一次IP,从而实现不断更换IP的功能,像在爬虫采集、网络营销、大数据分析、软件挂机、抢票秒杀等多个领域都有广泛运用。

  实现思路 三、设置代理服务器

  这里我们使用TinyProxy来搭建我们的代理服务器

  安装TinyProxy yum install -y epel-release yum update -y yum install -y tinyproxy

  如过无法下载,请先进行拨号。不同的服务商的拨号命令可能不同,我这里使用的是pppoe-start

  配置TinyProxy安装完成之后还需要配置一下TinyProxy才可以用作代理服务器,需要编辑配置文件,它一般的路径是/etc/tinyproxy/tinyproxy.conf 配置端口号,默认端口号8888 Port 8888 配置运行连接的主机如果想任何主机都可以连接,那就直接将它注释即可,所以在这里我们选择直接注释,也就是任何主机都可以使用这台主机作为代理服务器了。#Allow 127.0.0.1 重启服务service tinyproxy start 验证代理服务器这里我们检测一下我们的代理,我是用的是在线检测代理网站image.png

  当然,你也可以使用requests库或者直接使用linux的curl的命令

  四、整体实现

  整体的流程大概如下:

  image.png 客户端:项目结构1、 pppoe.sh 拨号脚本,主要是实现重新拨号的几个命令。2、 request.sh 请求服务器的脚本,主要是实现拨号后请求服务器的操作。3、 request.conf 配置文件。4、 request.Log 日志文件

  需要注意的是,我们每台VPS服务器都需要搭建代理服务,如果VPS服务器过多的情况下我们可以写一个脚本来自动进行安装配置

  request.conf在这里配置我们脚本的KEY以及服务器地址KEY=godlei SERVER=http://45.76.212.133/record

  KEY相当于是访问服务器的凭证,如果KEY值不一致将不会不能访问服务器。SERVER是我们服务器的地址,请求该地址时服务器会把客户端的IP记录并保持到Redis数据库

  pppoe.sh我们通过该脚本来进行拨号。不同的VPS拨号服务器的提供商的拨号命令不一样,我这里的是通过pppoe-start来进行拨号#配置该shell的目录的环境变量 PATH=$PATH:/client/ export PATH #拨号命令 pppoe-stop pppoe-start pppoe-status

  记得在前两行配置一下环境变量,配置上拨号命令所在的目录,以防出现脚本无法运行的问题。

  request.sh我们通过该shell来进行配置文件的读取,拨号脚本的调用、向服务器发送请求#!/bin/bash # 检查执行脚本时是否传入参数 if [ "$#" != 1 ];then echo "param error;请传入您配置文件的路径." exit 0 fi KEY="" SERVER="" DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )" # 读取配置文件信息 load_config() { cfg=$1; content=`cat ${cfg}`; KEY=`echo "${content}" |grep 'KEY'| sed 's/^KEY=["](.*)["]//'`; SERVER=`echo "${content}" |grep 'SERVER'| sed 's/^SERVER=["](.*)["]//'`; KEY=${KEY:4} SERVER=${SERVER:7} } # 重新拨号 change_proxy() { . $DIR/pppoe.sh } # 发送请求 send_request() { echo $SERVER/$KEY; curl $SERVER/$KEY; } main() { load_config $1 change_proxy send_request } main $1 定时调度以及日志记录这里我们通过crontab来实现定时任务的调度#设置定时任务 crontab -e # 输入crontab的实例命令,每两分钟执行一次.注意这种的写法最小间隔是分钟 */2 * * * * /client/request.sh /client/request.conf >> /client/request.log

  最前面的*/2是2分钟执行一次,后面接着的是你需要执行的shell路径以及该shell执行所需的参数,最后则是输出成一个日志进行记录

  如果你有按秒执行的需求,可以参考这里centos 定时任务按秒执行crontab服务端

  代理IP存储在服务端的Redis数据库,所以我们需要在我们的服务器上面安装Redis数据库

  #安装 yum install redis # 开启服务 systemctl start redis

  项目结构

  image.png

  1、config.py 配置文件

  2、db.py 数据库文件3、main.py Flask主程序,提供两个接口,一个是接收客户端请求,然后将IP保存,另外一个是获取当前保存的IPconfig.py配置文件1、KEY 是客户端请求服务器时的凭证,在client的request.conf也有相同的配置,二者保持一致即可。2、NEED_AUTH 在获取当前保存的IP(即代理的IP)的时候,为防止自己的主机代理被滥用,在获取IP的时候,需要加权限验证。3、AUTH_USER和AUTH_PASSWORD分别是认证用户名密码。4、PORT默认端口,返回保存的结果中会自动添加这个端口,组成一个IP:PORT的代理形式。

  注意默认是8888,你需要用Squid或者TinyProxy配置下代理,端口是8888,这里端口8888即默认的拨号VPS的代理端口,这里配置下保证输出结果自动拼接端口。

  5、Redis相关的配置

  6、TEST_URL:验证代理是否可用的网址;TEST_CYCLE:验证代理的时间间隔

  db.py数据库文件

  定义了一个Redis的类,实现了一些Redis操作的方法

  main.py主程序

  Flask的主程序,实现了接受客户端的请求以及API接口的提供五、代码