LLM Interview Code

LLM面试常见手撕代码合集

ps: 本人目前几十场面试仅遇到过 MHA, RoPE, RMSNorm, BPE, InfoNCE, DPO。如有帮助请点个star⭐️~

项目结构

目录	文件	说明
Attention	MHA.ipynb	多头注意力 (Multi-Head Attention)
	GQA.ipynb	分组查询注意力 (Grouped Query Attention)
	MHA_kvcache.ipynb	带KV cache的注意力
	mask.ipynb	注意力掩码
Components	Linear.ipynb	线性层
	BPE.ipynb	Byte Pair Encoding
	LoRA.ipynb	LoRA Linear 层
	RoPE.ipynb	旋转位置编码
	SwiGLU.ipynb	SwiGLU 激活函数
Norm	LayerNorm.ipynb	层归一化
	RMSNorm.ipynb	RMS归一化
Functional	activation_fun.ipynb	激活函数
	CE.ipynb	交叉熵损失
	InfoNCE.ipynb	InfoNCE损失
	quantify.ipynb	量化
	SFT.ipynb	SFT损失
RL	DPO.ipynb	DPO损失
	GRPO.ipynb	GRPO损失
	GSPO.ipynb	GSPO损失
	KL.ipynb	KL散度
	PPO.ipynb	PPO损失