使用ruby脚本把网站的http请求都抓取到本地

2024-09-20 10:24AM

ruby脚本代码内容如下：

代码解释：

1.引入库

require 'net/http'：引入 Ruby 的 net/http 库，它提供了用于执行 HTTP 请求的功能。

require 'uri'：引入 Ruby 的 uri 库，用于处理 URL 和 URI 的解析。

2. 定义 URL 列表

urls 是一个数组，使用 %w{} 语法定义了一系列 URL。这些 URL 是您希望下载的文件的地址。

3.遍历URL列表

urls.each do |url|：对 urls 数组中的每个 URL 执行块中的代码。

3.1 获取本地文件名

local_file_name = url.split('/').last

使用 split('/') 方法将 URL 按照 / 符号分割，然后取最后一部分（即文件名）。例如，对于 URL https://cdn.prod.website-files.com/.../ewbetatest.webflow.9089ad39c.css，得到的 local_file_name 将是 ewbetatest.webflow.9089ad39c.css。

3.2 构建命令

使用 %Q{} 语法构建一个字符串，形成一个 wget 命令。wget 是一个常用的命令行工具，用于从网络下载文件。-O 选项指定输出文件的名称。

command 字符串的内容类似于 wget https://cdn.prod.website-files.com/... -O ewbetatest.webflow.9089ad39c.css。

3.3 执行命令

使用 system(command) 方法执行构建的 wget 命令。这将启动一个新的进程来运行该命令，并在命令完成后返回控制权。

这个脚本的作用是：

1.定义一组 URL。

2.遍历每个 URL。

3.从每个 URL 中提取文件名。

4.构建并执行 wget 命令，下载文件到当前目录中。

注意：

1.依赖于外部工具：该脚本依赖 wget 工具。确保在运行此脚本的环境中已安装 wget。

2.错误处理：脚本没有处理下载失败的情况，可以考虑添加错误处理逻辑，确保下载成功与否的反馈。

3.性能问题：对于大量 URL，可能会出现性能瓶颈，可以考虑使用并发下载的方式。