Yixn Host HTML Crawler 项目介绍 ================================ 官方Q群：1048103265 一、项目简介 -------------------------------- Yixn Host HTML Crawler（Yixn Host Html爬取器）是一个基于 Node.js 原生模块编写的轻量级命令行工具。它可以帮助你快速抓取任意网站的静态 HTML 源码，并自动保存到本地当前目录，无需安装任何第三方依赖。 适合用于： 1. 快速查看某个网页的 HTML 源码 2. 离线保存网页快照 3. 前端调试与页面结构分析 4. 学习 Node.js 网络请求与流处理 二、核心特性 -------------------------------- 1. 零依赖 仅使用 Node.js 内置模块（fs / http / https / readline / url） 2. 彩色交互界面 终端彩色输出，交互式输入，体验友好 3. 自动补全协议 输入 example.com 自动补全为 https://example.com 4. 超时保护 15 秒超时自动中断，避免长时间卡死 5. 自动跟随重定向 遇到 301 / 302 自动跳转到目标地址 6. 智能文件命名 根据域名 + 路径 + 时间戳生成安全文件名，避免覆盖 7. 双模式运行 支持交互式输入，也支持命令行参数直接传入 URL 8. 详细信息反馈 显示文件大小、内容类型、耗时等抓取结果 三、环境要求 -------------------------------- 1. Node.js 14.0 及以上版本 2. 无需 npm install，无第三方依赖 四、使用方式 -------------------------------- 方式一：交互式（推荐新手） node yixn.js 运行后按提示输入网址即可。 方式二：命令行参数 node yixn.js https://example.com 五、运行效果示例 -------------------------------- +==========================================+ | Yixn Host Html爬取器 | | Yixn Host HTML Crawler | +==========================================+ 版本: 1.0.0 | 输入网址抓取静态HTML，保存到当前目录 官方Q群: 1048103265 [i] 正在抓取: https://example.com [OK] 抓取成功！ ------------------------------------------ 网址 : https://example.com 文件 : example.com_20250101120000.html 路径 : /your/dir/example.com_20250101120000.html 大小 : 1.25 KB 类型 : text/html; charset=UTF-8 耗时 : 234 ms ------------------------------------------ 提示: 文件已保存在当前工作目录 (/your/dir) 六、项目结构 -------------------------------- yixn-host-html-crawler/ |-- yixn.js # 主程序（唯一文件） |-- README.txt # 项目说明 一个文件，一个工具。 七、工作原理 -------------------------------- 1. 输入阶段：读取用户输入的 URL 或命令行参数 2. 校验阶段：自动补全协议、解析 URL 合法性 3. 请求阶段：使用 http / https 模块发起 GET 请求 4. 处理阶段： - 遇到重定向自动跟随 - 收集响应数据流（Buffer 拼接） - 按 UTF-8 解码为字符串 5. 保存阶段：根据 URL 生成安全文件名，写入当前目录 八、文件命名规则 -------------------------------- 生成的文件名格式为： <主机名>_<路径>_<时间戳>.html 示例： 输入网址 生成文件名 https://example.com example.com_20250101120000.html https://example.com/blog/post-1 example.com_blog_post-1_20250101120000.html https://a.b.com/x/y/z a.b.com_x_y_z_20250101120000.html 说明： 1. 非法字符统一替换为下划线 2. 路径过长自动截断（超过 60 字符） 3. 时间戳避免重名覆盖 九、注意事项 -------------------------------- 1. 本工具只抓取静态 HTML 源码，不会执行 JavaScript，无法获取动态渲染内容 2. 部分网站可能设置了反爬虫机制，导致抓取失败 3. 对于 GBK / GB2312 编码的中文网站，可能出现乱码（当前仅按 UTF-8 解码） 4. 请遵守目标网站的 robots.txt 和相关法律法规，勿用于非法用途 5. 建议仅用于个人学习、调试和合法的数据获取场景 十、常见问题 -------------------------------- 问题 1：报错 HTTP 403 Forbidden 答：目标网站拒绝了请求，可能识别出了爬虫。可以尝试修改 User-Agent。 问题 2：抓下来的页面乱码 答：目标网站可能是 GBK 编码。可以安装 iconv-lite 进行转码。 问题 3：抓取超时 答：默认 15 秒，可在文件顶部的 TIMEOUT 常量中修改。 问题 4：文件保存到哪里了 答：保存在运行命令时的当前工作目录，日志中会打印完整路径。 十一、后续计划 -------------------------------- 1. 支持编码自动检测（GBK / GB2312） 2. 支持自定义 User-Agent 3. 支持超时时间参数化 4. 支持重定向次数限制，防止死循环 5. 支持响应体大小限制，防止内存溢出 十二、版本信息 -------------------------------- 当前版本：v1.0.0 许可证：MIT（可自由修改和分发） 官方Q群：1048103265 十三、反馈与交流 -------------------------------- 如有问题、建议或想获取更新，欢迎加入官方Q群： 官方Q群：1048103265 Made with love by Yixn Host