2026.07.12技术
SAE:稀疏自编码器
目前被认为是分析和拆解黑盒模型(尤其是 Transformer 架构)最有效的工具之一。Anthropic 和 OpenAI 都在使用它来逆向工程大模型的内部表征。
2026.06.15技术
深入拆解 LoRA:微调神器的底层逻辑与工程解剖
本文将分阶段彻底拆解 LoRA:从核心公式,到手写 PyTorch 极简实现;从“为什么 A 随机 B 全 0”的反向传播死锁推演,到追溯至 ResNet 的学术源头;最后,我们将扒开 Hugging Face peft 的底层源码,看看工业界是如何实现“狸猫换太子”与“零延迟推理”的。