# LuShouqunblog

**Repository Path**: oschina/LuShouqunblog

## Basic Information

- **Project Name**: LuShouqunblog
- **Description**: LuShouqunblog
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-06-30
- **Last Updated**: 2026-01-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 三评 DeepSeek（续）

**陆首群** 2026.1.13

DeepSeekv4 的架构是 Engram（印迹），Engram 的残差采用 mHC 架构，或可认为在残差连接上的 DeepSeekv4 的架构为 mHC+Engram。

DeepSeekv4 是建立在生物神经网络（即类脑的异步脉冲神经网络）之上的，该神经网络具有稀疏化的特征，其运行方式是计算存储一体化（或计算记忆一体化）。

梁文锋团队在研发 DeepSeekv4 时，提出一种全新的 Engram（印迹）模块，在传统的“条件计算（MoE）”之外，开辟第二条稀疏化的“条件记忆（Engram）”，这时可将原始的 128K 语言约束 23%。

梁文锋团队将记忆和计算剥离（把计算交给神经系统，把从计算剥离出来的记忆交给“字典”），这时 Engram 将使 AI 推理能力迎来反直觉的爆发性增长。

这时 Engram 的残差将采用 mHC 架构。

DeepSeekv4 在非残差连接上的架构是 Engram，在残差连接上的架构是 mHC 或 mHC+Engram。

当 Engram 在残差连接上传输信息时，通过多层信息平台时（一般 6~10 层），在某层（N 层）平台上找有关信息（复活 N-Gram）。