# uk_crawl

**Repository Path**: ukiot/uk_crawl

## Basic Information

- **Project Name**: uk_crawl
- **Description**: 一个现代化网站资源批量下载工具，支持多种URL模式和完整的资源下载功能。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-06-25
- **Last Updated**: 2025-06-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🚀 DownloadMaster - 超级资源下载工具

一个功能强大、界面炫酷的网页资源批量下载工具，支持图片、视频、种子等多种资源类型。

![预览图片](images/01.gif)

## ✨ 核心特色

### 🎨 炫酷界面设计
- **太空渐变背景** - 深色主题配合多彩渐变效果
- **发光按钮** - 鼠标悬停时的动态发光效果
- **实时状态显示** - 动画进度条和状态指示器
- **霓虹配色方案** - 绿/蓝/紫三色主题
- **现代化布局** - 响应式双面板设计

### 🚀 强大功能
- **多种URL模式** - 单个/数字递增/字母递增/自定义列表
- **智能资源识别** - 自动识别图片、视频、音频、种子文件
- **多线程下载** - 高效并发下载，不卡UI
- **随机Agent** - 5种浏览器User-Agent轮换防屏蔽
- **保留原名** - 自动保留文件原始名称
- **实时监控** - 下载进度、成功率实时显示

## 🛠️ 功能详解

### 📋 URL配置模式

#### 1. 单个URL模式
```
输入: https://example.com/gallery.html
结果: 只处理这一个页面
```

#### 2. 数字递增模式
```
基础URL: https://example.com/page{}
起始: 1, 结束: 10
生成结果:
- https://example.com/page1
- https://example.com/page2
- ...
- https://example.com/page10
```

#### 3. 字母递增模式
```
基础URL: https://example.com/section{}
起始: 1, 结束: 5
生成结果:
- https://example.com/sectionA
- https://example.com/sectionB
- ...
- https://example.com/sectionE
```

#### 4. 自定义列表模式
```
在文本框中输入多个URL，每行一个：
https://site1.com/page1
https://site2.com/gallery
https://site3.com/videos
```

### 🎯 资源类型支持

#### 🖼️ 图片资源
- **支持格式**: JPG, PNG, GIF, BMP, SVG, WebP
- **智能识别**: img标签、data-src懒加载、CSS背景图
- **保留名称**: 自动提取原始文件名

#### 🎬 视频资源
- **支持格式**: MP4, AVI, MOV, WMV, FLV, WebM, MKV
- **获取方式**: video标签、直链识别
- **高质量**: 保持原始视频质量

#### 🎵 音频资源
- **支持格式**: MP3, WAV, OGG, AAC, FLAC
- **智能解析**: audio标签、链接扩展名判断

#### 🧲 种子文件
- **格式支持**: .torrent文件
- **完整下载**: 保留种子文件的完整性

## 🎮 使用方法

### 1. 快速开始
1. 双击 `run.bat` 启动程序
2. 输入要下载的网站URL
3. 选择URL生成模式
4. 勾选需要的资源类型
5. 点击"🚀 开始"按钮

### 2. 界面说明

#### 左侧控制面板
- **🎯 下载控制中心** - 主要配置区域
- **🌐 URL配置** - URL设置和模式选择
- **⚙️ 下载选项** - 保存路径和资源类型
- **控制按钮** - 预览、开始、停止操作

#### 右侧状态面板
- **实时状态** - 当前任务状态显示
- **进度条** - 下载进度动画显示
- **统计信息** - 发现/成功/失败数量
- **📝 下载日志** - 详细操作记录

### 3. 高级设置

#### URL参数自增
- 使用 `{}` 作为占位符
- 支持数字和字母自动递增
- 可自定义起始和结束值

#### 防屏蔽机制
- 自动轮换5种不同浏览器User-Agent
- 请求间添加随机延迟
- 完整HTTP请求头模拟

## 📁 下载结构

下载的文件按以下结构组织：
```
downloads/
├── site_1_example.com/          # 第1个网站
│   ├── index.html               # 原始HTML页面
│   ├── image/                   # 图片目录
│   │   ├── photo1.jpg
│   │   └── banner.png
│   ├── video/                   # 视频目录
│   │   ├── movie.mp4
│   │   └── trailer.webm
│   ├── audio/                   # 音频目录
│   │   └── music.mp3
│   └── torrent/                 # 种子目录
│       └── file.torrent
├── site_2_domain.com/           # 第2个网站
│   └── ...
```

## 🔧 技术特点

### 多线程架构
- **主线程**: 负责UI界面响应
- **下载线程**: 处理网络请求和文件下载
- **信号机制**: 线程间安全通信

### 智能解析引擎
- **BeautifulSoup**: HTML内容解析
- **正则表达式**: URL模式匹配
- **文件扩展名**: 自动类型识别

### 防屏蔽策略
```python
用户代理轮换:
- Chrome 120 (Windows)
- Firefox 121 (Windows)  
- Safari (macOS)
- Edge 120 (Windows)
- Chrome (Linux)
```

## 🎨 界面展示

### 配色方案
- **主色调**: `#00ff88` (霓虹绿)
- **次要色**: `#0084ff` (科技蓝)
- **警告色**: `#ffaa00` (橙色)
- **错误色**: `#ff4444` (红色)
- **背景**: 太空渐变 (#0a0a0a → #1a1a2e → #16213e)

### 动效特色
- **按钮悬停**: 发光效果 + 颜色变化
- **进度条**: 彩色渐变动画
- **状态更新**: 平滑过渡效果
- **日志滚动**: 自动滚动到最新

## 📊 实时监控

### 状态指示器
- **🔄 就绪状态** - 等待任务
- **📡 正在访问** - 获取页面内容
- **⬇️ 下载中** - 正在下载资源
- **🎉 所有任务完成** - 全部完成
- **⏹️ 任务已停止** - 用户停止

### 统计信息
- **发现**: 扫描到的资源总数
- **成功**: 下载成功的文件数
- **失败**: 下载失败的文件数
- **进度**: 当前页面/总页面数

## ⚠️ 使用须知

### 合法使用
1. 遵守目标网站的robots.txt规则
2. 不要对服务器造成过大负载
3. 仅用于学习和个人研究目的
4. 尊重版权和知识产权

### 性能优化
1. 合理设置URL数量，避免过度请求
2. 根据需要选择资源类型
3. 确保网络连接稳定
4. 定期清理下载目录

### 故障排除
- **下载失败**: 检查网络连接和URL有效性
- **资源未发现**: 确认页面包含目标资源类型
- **程序卡顿**: 减少并发数量，检查系统资源

## 🚀 启动方式

### Windows
```bash
双击 run.bat 文件
```

### 命令行
```bash
python download_master.py
```

### 依赖安装
```bash
pip install -r requirements.txt
```

## 🔄 更新日志

### v1.0 (当前版本)
- ✅ 炫酷界面设计完成
- ✅ 多种URL模式支持
- ✅ 图片/视频/音频/种子下载
- ✅ 多线程下载实现
- ✅ 随机Agent防屏蔽
- ✅ 实时状态监控
- ✅ 文件名称保留

---

**🎉 享受高效的资源下载体验！**