Transformer 注意力机制的直观理解
把 Q/K/V 理解成「每个词向其他词提出一个问题、再按匹配度取回信息」，比直接记公式更容易建立直觉。 这篇笔记整理了多头注意力中各个矩阵的形状变化，以及位置编码为什么不能省。
多多言
AI 大模型学习笔记 · 智能体开发文档
这里是本人的个人学习站点，用于记录学习 AI 大模型过程中整理的内容笔记， 以及智能体（Agent）开发相关的技术文档。所有内容均为个人学习过程中的记录与整理， 仅供学习参考。本站不提供注册、评论、投稿等功能，也不涉及任何经营性内容。
AI 大模型学习笔记
上下文窗口不只是越大越好
在长文档问答的小实验里，把上下文从 8K 扩到 128K 后，关键信息的召回并没有线性提升， 反而在文档中间位置出现了明显的遗漏。记录了几组对比数据和可能的原因。
LoRA 微调的秩与显存权衡
在单卡 24GB 环境下测试了 rank 从 4 到 64 的效果和显存占用。 结论是任务越接近预训练分布，需要的秩越小；同时记录了打开 gradient checkpointing 后的速度损失。
从困惑度到真实评测
困惑度下降不等于实际效果好。这篇笔记对比了困惑度、人工评分和任务准确率三种指标 在同一批样本上的表现差异，以及各自适用的场景。
RAG 检索质量的一次记录
检索召回率对最终回答影响很大，但分块大小和重叠比例的调参空间比预想的更敏感。 记录了不同分块策略下的召回率与回答准确率变化。
智能体开发文档
工具调用的失败重试与降级
整理了函数调用失败时的几种处理方式：指数退避重试、换参数重试和直接降级为固定回复。 附上了参数校验和超时设置的注意事项。
多智能体协作中的消息路由
记录了一个简单的消息路由设计：按角色分发任务、用共享状态避免重复调用， 以及在某个智能体超时后如何把任务交回主流程。
用 MCP 统一接入外部工具
把几个原本各自封装的外部工具改为通过 MCP 接入，减少了适配代码。 笔记里记录了服务端配置、权限边界，以及常见的连接失败排查方式。
智能体状态机与中断恢复
把智能体的执行过程建模成有限状态机，使任务在中断后可以从最近一次成功步骤继续。 记录了状态持久化的字段设计和幂等性处理。
关于本站
本站由个人独立维护，用于记录和整理本人学习 AI 大模型、智能体开发过程中的笔记与资料。 内容仅代表个人学习理解，不构成任何专业建议，也不提供注册、评论、投稿等功能。 网站不发布广告，不涉及任何经营性内容。