# RedNote-Vibe-Analysis

**Repository Path**: qwe12345678/RedNote-Vibe-Analysis

## Basic Information

- **Project Name**: RedNote-Vibe-Analysis
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-11
- **Last Updated**: 2026-07-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 基于RedNote-Vibe 数据集的分析

[English](README.md) | [中文](README_zh.md)

## 数据集

**[数据集github](https://github.com/ydli-ai/RedNote-Vibe.git)**

所有数据文件均可通过以下链接获取：

**[从 Google Drive 下载](https://drive.google.com/drive/folders/1T8JV-DmIo7SI8pBOPeuiQvXzFwe8ns--?usp=sharing)**

目录内容包括：

- `training_set_human.jsonl` — 人类撰写的帖子（LLM 出现前，2022 年 11 月之前）
- `training_set_aigc.jsonl` — 由 17 个 LLM 生成的帖子
- `exploring_set.jsonl` — LLM 出现后的帖子（2023–2025），用于时序分析

## 📊 Fork 分析

本 fork 对 RedNote-Vibe 数据集进行了全面的数据分析，主要发现和可视化如下：

### 数据集概览

| 数据集 | 记录数 | 平均内容长度 | 平均标题长度 |
|--------|--------|-------------|-------------|
| training_set_human | 51,878 | 488.1 | 13.4 |
| training_set_aigc | 7,254 | 347.7 | 18.3 |
| exploring_set | 91,517 | 322.6 | 13.8 |

### 词频相关性矩阵（余弦相似度，jieba 分词，2026-06-25 修订）

**正文内容 (desc / note_content)：**

|                    | 人类 | AIGC | 探索集 |
|--------------------|------|------|--------|
| training_set_human | 1.00 | 0.90 | 0.95   |
| training_set_aigc  | 0.90 | 1.00 | 0.88   |
| exploring_set      | 0.95 | 0.88 | 1.00   |

**标题内容 (note_title)：**

|                    | 人类 | AIGC | 探索集 |
|--------------------|------|------|--------|
| training_set_human | 1.00 | 0.82 | 0.72   |
| training_set_aigc  | 0.82 | 1.00 | 0.72   |
| exploring_set      | 0.72 | 0.72 | 1.00   |

> 注：早期版本中 DESC/TITLE 相关性被误算为 0.6682/0.8339/0.6389 与 0.4620/0.5261/0.4468（未做 jieba 分词），现已修正为基于 jieba 的余弦相似度。

### 关键发现

1. **正文相关性高，标题相关性中等**：DESC 层面人类-AIGC-探索集高度同质(0.88-0.95)，TITLE 层面相关性仅 0.72-0.82，标题仍是相对更强的区分特征
2. **内容长度**：人类帖子最长(488字符)，AIGC中等(348)，探索集最短(323)
3. **标题长度**：AIGC标题最长(18.3字符)，更正式详细；人类/探索集较短(13.4/13.8)
4. **高频词差异**：人类使用更多emoji；AIGC常使用"姐妹们"

### 常见词（助词/虚词）分析

除了实词外，我们也分析了像"的"、"了"、"是"这种在各话题都有的常见虚词/助词的使用模式：

**1. 常见词使用排名（均值比率，前10）：**

| 词语 | Human | AIGC | Exploring |
|------|-------|------|--------|
| 的 | 2.64% | 2.35% | 1.93% |
| 是 | 1.08% | 0.85% | 0.72% |
| 了 | 0.95% | 0.85% | 0.59% |
| 有 | 0.73% | 0.50% | 0.51% |
| 我 | 0.90% | 0.79% | 0.67% |
| 在 | 0.46% | 0.43% | 0.33% |

**2. 共现关系（重要成对词相关性）：**

| 词对 | Human | Exploring |
|------|-------|-----------|
| 的+是 | 0.69 | 0.80 |
| 的+了 | 0.37 | 0.60 |
| 有+没有 | 0.56 | 0.66 |
| 是+在 | 0.47 | 0.66 |

**3. 关键差异：**
- **Human文本更长**：平均488字 vs AIGC 348字 vs exploring 323字
- **"的"使用率**：Human最高（2.64%），说明表达更口语化/情感化
- **领域差异**：心理类"的"使用率最高（~3%），穿搭最低（~1.3%）
- **AIGC特点**：DESC 与 Human/Exploring 都高相关(0.90/0.88)，但 TITLE 与 Human 相关性明显回落到 0.82，说明 AIGC 在正文上模仿到位、在标题上仍有可识别差异

### 生成的可视化图表

| 文件 | 描述 |
|------|------|
| `content_length_distribution.png` | 内容长度分布 |
| `title_top_words.png` | 标题高频词 |
| `desc_top_words.png` | 正文高频词 |
| `domain_domain_distribution.png` | 域名分布（已修正文件名前缀重复问题） |
| `scatter_*.png` | 词频相关性散点图 |
| `particle_distribution_comparison.png` | 常见词分布对比 |
| `particle_mean_comparison.png` | 常见词平均使用率 |
| `particle_heatmap.png` | 常见词热力图 |
| `particle_all_comparison.png` | 全量常见词对比 |

### 分析脚本（共 24 个）

| 脚本 | 说明 |
|------|------|
| `quick_start.py` | 基线 BERT 模型训练 |
| `complete_analysis.py` | 完整数据集概览分析 |
| `word_freq_analysis.py` | 词频分析及余弦相似度矩阵 |
| `particle_analysis.py` | 常见词（助词/虚词）分析 |
| `emoji_analysis.py` | Emoji 使用统计 |
| `sentiment_analysis.py` | 情感倾向分析 |
| `time_analysis.py` | 时间分布分析 |
| `topic_comparison_analysis.py` | 话题对比分析 |
| `new_topic_comparison.py` | 新话题对比分析 |
| `advanced_topic_comparison.py` | 进阶话题对比分析 |
| `analyze_domains.py` | 领域分布分析（旧版） |
| `analyze_per_domain.py` | 按领域细分分析 |
| `internal_diff_analysis.py` | 内部差异分析（旧版） |
| `internal_detailed_analysis.py` | 内部差异详细分析 |
| `extended_analysis.py` | 扩展分析（N-gram/Emoji/Hashtag） |
| `new_analysis.py` | 新增分析（标题/链接/数字/结构） |
| `xnew_analysis.py` | 扩展新增分析 |
| `more_analysis.py` | 补充分析 |
| `additional_analysis.py` | 附加分析 |
| `word_correlation.py` | 用户级词频 Pearson 相关分析 |
| `word_correlation_extended.py` | 跨话题文风词相关分析 |
| `unique_comparison.py` | 独特词汇对比 |
| `user_clustering.py` | 用户风格聚类 |
| `stat_tests.py` | 统计显著性检验 |

> 工具脚本：`common_utils.py`、`viz_config.py` 为公共辅助模块，不计入分析脚本数。

## 参考资料

```bibtex
@misc{li2025rednote,
      title={RedNote-Vibe: A Dataset for Capturing Temporal Dynamics of AI-Generated Text in Social Media}, 
      author={Yudong Li and Yufei Sun and Yuhan Yao and Peiru Yang and Wanyue Li and Jiajun Zou and Yongfeng Huang and Linlin Shen},
      year={2025},
      eprint={2509.22055},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2509.22055}, 
}
```

## 许可证

基于 [CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/) 协议发布。