我把想法 慢慢写下来

在社交媒体的喧嚣之外,这里记录我关于技术、产品和生活的思考。慢一点,但真诚一点。

全部文章 02 篇

SAE:稀疏自编码器

目前被认为是分析和拆解黑盒模型(尤其是 Transformer 架构)最有效的工具之一。Anthropic 和 OpenAI 都在使用它来逆向工程大模型的内部表征。

深入拆解 LoRA:微调神器的底层逻辑与工程解剖

本文将分阶段彻底拆解 LoRA:从核心公式,到手写 PyTorch 极简实现;从“为什么 A 随机 B 全 0”的反向传播死锁推演,到追溯至 ResNet 的学术源头;最后,我们将扒开 Hugging Face peft 的底层源码,看看工业界是如何实现“狸猫换太子”与“零延迟推理”的。