在爬取国外被[]墙网站数据时linux命令,就必须使用命令行代理了,要不然就得在国外买一台服务器跑了。。
1、首先你需要有一把梯子,梯子教程不讲,[滑稽]
pip insatll shadowsocks
2、然后配置shadowsocks(一个json格式文件):
{
"server":"服务器地址",
"server_port":port,
"local_address":"127.0.0.1",
"local_port":1080,
"password":"password",
"method":"aes-256-cfb",
}
3、然后就是连接服务器,监听端口1080,关闭 的话可以直接 kill pid
sudo sslocal -c shawsockets.conf -d start
4、安装polipo
1、简单介绍: 我们之前提到过nginx在做反向代理服务器时linux命令,本身就具有缓存功能的,只不过它的缓存,是缓存在文件当中的, 而内存当中缓存的只是文件描述符,源文件(所谓的文件属性),所以nginx本身在提供 缓存方面的能力就不甚理想,(后端application server的执行结果).那么因此就有专门的服务器,提供缓存的.squid这是一款非常古老的缓存服务器,它既能够实现正向代理,又能实现反向代理,并且还能够作为缓存服务器进行使用.并且还能够使用acl.squid非常古老,在上个世纪90年代,squid绝对是一统天下的.市面上几乎百分之90的站点在实现网站加速务的时候都是 squid来做反向代理.squid能够代理的协议有:http ftp gopher, ssl.。wproxy是一款运行在windows系统上的代理服务器软件,可以给局域网的其他电脑提供代理上网服务,可以用作单独的代理服务器,也可以和wfilter软件结合进行上网行为管理,支持http、socks、pop3、smtp代理服务,并且支持高速web缓存和代理验证。 wproxy免费代理服务器软件是一款运行在windows系统上的代理服务器软件,可以给局域网的其他电脑提供代理上网服务,支持http、socks、pop3、smtp代理服务,并且支持高速web缓存和代理验证。
sudo apt-get install polipo
5、配置polipo
在家目录中创建 .polipo 文件
socksParentProxy = "localhost:1080"
socksProxyType = socks5
6、启动&停止polipo
sudo service polipo start
sudo service polipo stop
7、使用
http_proxy=127.0.0.1:8123 curl ip.gs
Current IP / 当前 IP: 172.93.38.1xx
...
...
/\_/\
=( °w° )=
) ( //
(__ __)//
8、 设置环境变量 然后省去每次使用代理时输入http_proxy
把下面两条命令放在.bashrc 文件里 如果使用的时zsh 就放在.zshrc里