# CSDN_AI_HOMEWORK_W10

**Repository Path**: HataFeng/CSDN_AI_HOMEWORK_W10

## Basic Information

- **Project Name**: CSDN_AI_HOMEWORK_W10
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-04-14
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 第十周作业
### 124298228_冯炳驹_w10

#### 1、 Embedding 
##### Word Embedding ：词嵌入
      Embedding 理解：将onehot的形式映射（嵌入）到稠密，连续的低维度的空间（向量化）
      目的：
        1 向量化，这样词与词之间就可以定量的去度量他们之间的关系
        2 降低计算量

      实现：采用最简单的神经网络来用训练词向量，但只需要权重矩阵部分。
      分析：通过对输出图片，近义词或同义词会分在‘一块’，比如数字，标点，水相关等输出图如下：
#### ![输入图片说明](https://gitee.com/uploads/images/2018/0414/112141_36c42c86_1686942.png "tsne.png")

#### 2、RNN
##### 理解：
      RNN的目的是使用来处理序列数据。
      RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。
      具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，
      即隐藏层之间的节点不再无连接而是有连接的，
      并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

      共享参数U,V,W，在进行反向传播时统一更新

##### 训练结果截图如下：（可参考文件 running log3.txt）
![输入图片说明](https://gitee.com/uploads/images/2018/0414/113031_bc1ced49_1686942.png "output3 log.png")

##### 训练过程体会
      1 调整各种参数，最终的loss没有改善，估计需要其他方法来改进，自己想到可以用 BN
      2 输出有时候会有很多标点或 NUK
      3 生成文本的过程就是每个字不断输入网络，然后将输出作为下一次的输出，不断循环递归，因为其会不限循环下去
      

      说明：Embedding时去掉了 '\r' '\n' '\t'，会导致第一行最后一个字会链接到第二行的第一个字，组成词。
      （尝试采用其他字符代替）
      分析：结合代码和运行结果，生成词的策略时采用获取概率分布中概率最高的词，
           随着不断学习，生成的词就会不一样，因为概率分布改变了，
           从结果看到比较明显的例子 '，'后面大都是选择'一'，
           如： 一年一笑，一枝春色，一枝春色。一笑东风，一枝春色，一点红妆

      分析不明白地方：
          1 渔家傲不似一杯同劝酒
          不明白： 渔家傲 后面跟着 不 字，在data 中找不到对应链接在一起的词
          2 江神子一声吹笛
          不明白： 江神子 后面跟的最多时 '（'，为什么不会选择'（', 
          个人理解：经过反向传播修改了权重值