linux的wget下载大文件技巧

wget 是一个在 Linux 系统中非常实用的命令行工具，用于从网络上下载文件

1. 使用断点续传功能：如果你需要暂停下载并在稍后继续，可以使用 --continue 选项。这将使 wget 从上次中断的地方继续下载，而不是重新开始。

   wget --continue URL
   

2. 设置下载速度限制：为了避免对网络造成过大压力，可以使用 --limit-rate 选项限制下载速度。例如，将下载速度限制为 100KB/s：

   wget --limit-rate=100k URL
   

3. 使用多线程下载：wget 支持多线程下载，可以通过 --no-check-certificate 选项（跳过 SSL 证书检查）和 -P 选项（指定本地保存路径）来实现。例如，从多个源下载一个文件：

   wget --no-check-certificate -P /path/to/save -i sources.txt
   

   其中，sources.txt 是一个包含多个下载源的文件，每个源占一行。

4. 使用 wget 的递归下载功能：如果你需要下载一个网站及其所有相关文件（包括图片、CSS 和 JavaScript 等），可以使用 --recursive 和 --no-clobber 选项。--recursive 选项会递归地下载网站文件，而 --no-clobber 选项会避免覆盖已下载的文件。

   wget --recursive --no-clobber -np -P /path/to/save URL
   

   其中，-np 选项表示不爬取父目录。

5. 使用 wget 的镜像功能：如果你需要将一个网站镜像到本地，可以使用 --mirror 选项。这将创建一个包含网站所有文件和子目录的本地仓库。

   wget --mirror -p -k -r -np URL
   

   其中，-p 选项表示下载所有页面所需的文件，-k 选项表示转换链接以适应本地环境，-r 选项表示递归下载。

通过这些技巧，你可以更高效地使用 wget 下载大文件。