使用如下的命令下载https链接:
wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password
下载'dir'目录下的所有gz文件
-np 没有父目录
-nd 不要构建本地目录结构
--accept=gz 只下载gz文件
wget 使用详解
1、下载单个文件
wget url+filename
下载过程中同时可以看到四项信息
已经下载的比例
已经下载的大小
当前下载的速度
剩余的时间
2、使用一个大写O做参数表示另存为
wget -O save_name url
这种方法适用于对应链接中没有显式文件名的情况。
例如:
wget -O xx.zip ?src_id=7701
再用不带-O参数的下载一次。
ls -al
总计 132
drwxr-xr-x 2 root root 4096 07-12 10:43 .
drwxr-xr-x 4 root root 4096 07-11 16:26 ..
-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip
我们发现,下载的大小都是一样。但是不带-O参数的,文件名还要转换一次。不如用-O参数方便。
mv "download_script.php?src_id=7701" yy.zip
3、指定下载速率
方法是使用wget --limit-rate
wget程序默认是使用所有的带宽linux命令linux命令,如果
是在生产服务器上下载很大的文件就不可接受了。
为了避免这种情况使用--limit-rate参数
wget --limit-rate=200k
4、断点下载
使用wget -c完成未完成的下载
下载到一半需要停下来干别的事情,用^c就可以停顿住。
回来后,继续下载可以加一个-c参数。
注意:如果不加入-c,那么下载的文件会多出一个.1的后缀。
5、在后台下载
方法:加一个-b的参数
wget -b url/filename
为后台下载。下载经过写入到wget-log文件中。
用tail -f wget-log查看下载日志
6、模拟在浏览器下下载
有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置
wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
7、测试下载链接
方法:使用--spider
试图做计划下载时候,需要先检查一下下载链接是否有效。
wget --spider DOWNLOAD-URL
如果返回OK,则表示下载链接是正确的!
例如
wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
Spider mode enabled. Check if remote file exists.
--2010-07-12 11:36:32-- ?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136