Hexo

03-19

DoRA详解：从LoRA到Weight-Decomposed Low-Rank Adaptation

03-17

RoPE 推导详解：从向量旋转到复数表示

03-16

不熟的算法知识点

03-16

深度学习中常用的矩阵求导公式总结（含 Attention 反向传播例子）

03-16

FlashAttention v1 & v2 笔记

03-14

Gumbel-Max Trick 简记

03-14

Muon优化器原理

02-10

GPU与triton学习资料（结合flash attention的思想和实现，更有助于深入理解）

02-01

从零理解位姿变换：为什么 delta_pose = T1⁻¹ T2

01-26

从 PPO 到 DPO、GRPO：LLM 对齐训练的两种常用变体