Transformer层数:96层
隐藏层维度:12,288
上下文窗口:1,048,576tokens
词汇量:262,144
数值计算精度:BF16/FP8
神经信号编码器:时空图Transformer
记忆系统架构:分层情景记忆系统
……
前面的基础架构倒还算常规,勉强符合一个超大规模生成式AI模型的配置表,但分层情景记忆系统是个什么构架?后面还列出了一堆神经记忆解码参数:
神经信号输入通道数,神经信号分辨率,神经信号嵌入维度,神经连接组图谱节点数,神经连接组图谱边数,记忆向量嵌入维度,情景记忆记录总数,情感状态表征维度……
内容未完,下一页继续阅读