为什么我还是无法理解transformer？
来源：
编辑：
时间：2025-06-25 03:00:10
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
-
{dede:pagebreak/}
网友评论：
{dede:include file='ajaxfeedback.htm' /}
栏目分类
最新文章
- 《诛仙》作者萧鼎于近日修改《诛仙》原作并大量删去碧瑶戏份，如何看待这一行为？
- 金山办公继续聘任雷军为“名誉董事长”，但不享权利、不担义务、不领薪酬，这个头衔的实际意义是什么？
- 如何评价《一人之下》第722（765）话情报？
- 周芷若一个船夫的女儿，容貌真的比得上皇家女子吗？
- 中国现有的雷达技术能发现B2么？
- 未来几年，市场对 AI 人才的需求会集中在哪几个方向？
- 到什么程度才叫精通 Linux？
- 为什么不能做出1T的内存条？
- 哈尔滨高温大学生楼道睡觉，学生称体感温度 37、38℃，东北学校该不该装空调？未来东北高温天会更多吗？
- 为什么Go仅仅160MB的安装包就可以编译程序，而Rust却还需要几个GB的VC++才能编译？
热门文章