# Trae_Code **Repository Path**: gitchenxing/trae_code ## Basic Information - **Project Name**: Trae_Code - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-04-29 - **Last Updated**: 2026-04-29 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 小说爬虫 Web 应用 一个基于 Java + SpringBoot + Bootstrap 的小说爬虫 Web 应用,可以爬取笔趣阁 (bqg128.cc) 网站的小说。 ## 功能特性 - ✅ 搜索小说:输入书名即可搜索 - ✅ 多网站支持:下拉框选择网站(目前支持笔趣阁) - ✅ 小说详情:展示书名、作者、简介、封面等信息 - ✅ 章节目录:完整的章节列表 - ✅ 章节阅读:清爽的阅读界面 - ✅ 导航功能:目录、上一页、下一页 - ✅ 下载小说:支持下载整本小说为 TXT 格式 - ✅ 响应式设计:支持 PC 和移动端 ## 技术栈 - **后端**: Java 8 + SpringBoot 2.7.18 - **前端**: Bootstrap 5 + jQuery - **爬虫**: Jsoup 1.17.2 - **模板引擎**: Thymeleaf - **构建工具**: Maven 3.6+ ## 环境要求 - JDK 1.8 或更高版本 - Maven 3.6 或更高版本 ## 安装 Maven (macOS) ```bash # 使用 Homebrew 安装 Maven brew install maven # 验证安装 mvn -version ``` ## 运行项目 ### 1. 克隆或下载项目到本地 ### 2. 进入项目目录 ```bash cd novel-crawler ``` ### 3. 编译并运行 ```bash mvn spring-boot:run ``` 或者先打包再运行: ```bash # 打包 mvn clean package -DskipTests # 运行 java -jar target/crawler-1.0.0.jar ``` ### 4. 访问应用 打开浏览器访问:http://localhost:8080 ## 使用说明 ### 1. 搜索小说 - 在首页下拉框选择网站(目前只有"笔趣阁") - 在输入框输入小说名称 - 点击"搜索"按钮 ### 2. 查看小说详情 - 在搜索结果中点击小说名称或"查看详情"按钮 - 查看小说的详细信息:作者、简介、封面等 ### 3. 阅读章节 - 在小说详情页点击章节列表中的任意章节 - 进入阅读页面,可以查看章节内容 - 底部导航: - **目录**: 打开章节列表侧滑面板 - **上一页**: 跳转到上一章节 - **下一页**: 跳转到下一章节 ### 4. 下载小说 - 在小说详情页点击"下载小说"按钮 - 小说将自动下载为 TXT 文件 ## 项目结构 ``` novel-crawler/ ├── src/main/java/com/novel/crawler/ │ ├── controller/ │ │ └── NovelController.java # Web 控制器 │ ├── service/ │ │ └── CrawlerService.java # 爬虫服务 │ ├── entity/ │ │ ├── Novel.java # 小说实体 │ │ └── Chapter.java # 章节实体 │ ├── dto/ │ │ └── SearchResult.java # 搜索结果 DTO │ └── NovelCrawlerApplication.java # 启动类 ├── src/main/resources/ │ ├── templates/ │ │ ├── index.html # 首页 │ │ ├── search.html # 搜索结果页 │ │ ├── novel-detail.html # 小说详情页 │ │ └── chapter.html # 章节阅读页 │ └── application.properties # 配置文件 ├── pom.xml # Maven 配置 ├── spec.md # 项目规格说明 ├── tasks.md # 任务清单 └── README.md # 本文件 ``` ## API 接口 | 方法 | 路径 | 描述 | |------|------|------| | GET | `/` | 首页(搜索页面) | | GET | `/search?keyword=xxx` | 搜索小说 | | GET | `/novel/{id}` | 小说详情 | | GET | `/chapter/{novelId}/{chapterId}` | 章节内容 | | GET | `/download/{id}` | 下载小说 | ## 配置说明 配置文件:`src/main/resources/application.properties` ```properties # 服务器端口 server.port=8080 # 爬虫配置 crawler.base-url=https://www.bqg128.cc crawler.user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) ... ``` ## 注意事项 1. 本项目仅用于学习交流爬虫技术,请勿用于商业用途 2. 爬取频率不宜过高,以免影响目标网站正常运行 3. 小说版权归作者所有,下载后请仅用于个人学习 4. 如果目标网站更新了页面结构,需要更新爬虫代码 ## 常见问题 ### Q: 搜索不到小说怎么办? A: 检查网络连接,确认目标网站可以正常访问,或尝试其他关键词。 ### Q: 下载失败怎么办? A: 下载整本小说需要爬取所有章节,如果章节较多可能需要较长时间,请耐心等待。 ### Q: 想添加其他网站怎么办? A: 需要分析目标网站的结构,然后在 `CrawlerService` 中添加相应的解析逻辑。 ## 许可证 本项目仅供学习交流使用。