STUDY NOTES

麦文的 AI 学习笔记

Agent 运行时、检索增强生成、本体建模与模型评测的学习记录与读书摘要。

Agent 运行时:循环、状态与可观测性

更新于 2026-11-09

Agent 运行时的本质是一个「决策—执行—观察」循环:模型给出下一步动作(调用工具、检索、写入),运行时执行动作并把结果回填到上下文,直到满足终止条件或触发预算上限。和一次性问答相比,差异在于运行时承担了循环控制、工具编排和失败处理。

工程上更容易出问题的是边界:单步超时、整体预算(步数、令牌、耗时),以及工具失败后的重试与幂等。常见做法是把单个动作设计成幂等,把长任务拆成可恢复的小步骤,并在每次状态变更后落一条可追踪的事件。

可观测性决定排障效率:每一步的输入摘要、工具名与耗时、模型返回的结束原因都应该能回放,否则线上出现任务卡住时只能靠猜。

学习笔记:先定终止条件和预算,再写提示词。没有预算的循环,最后都会变成不可控的长尾任务。

RAG:检索、重排与可追溯引用

更新于 2026-11-09

RAG 不是「把文档塞进上下文」,而是「找到该看的片段,并让模型知道依据从哪里来」。完整链路一般包括切分、索引、召回、重排、装包和引用。

切分按语义边界(标题层级、段落、表格)比按固定字符数更稳;召回阶段词法与向量互补:词法对编号、专有名词命中稳定,向量对同义改写更宽容;重排用规则或小模型重新打分,能降低「召回到了却排不进上下文」的情况。

引用必须可落地:片段要带来源标识(文档、章节、页码或字符偏移),输出时按标记回填,页面展示和导出都能还原成可读来源。

学习笔记:检索质量决定上限,提示词只决定下限。评估 RAG 先看召回率和命中位置,再看生成。

本体:领域术语、约束与结构化抽取

更新于 2026-11-08

本体回答三个问题:这个领域里有哪些概念,概念之间是什么关系,每个概念允许取什么值。落地形态通常是一份术语表加一组受控关系,包括实体类型、属性、枚举值和同义词。

在系统里有三种用法:抽取时的模式,把非结构化文本映射到结构化字段;校验时的约束,判断抽出来的值是否合法、是否与已有对象冲突;检索时的导航,把同义表述归一到同一概念,减少「说法不同就查不到」。

本体不需要一开始就完整。先用真实文档里反复出现的术语建立最小集合,再按失败案例补充关系和枚举,比先设计一套大而全的模型更实用。

学习笔记:本体的价值不在图画得多完整,而在字段能不能被机器校验。

会话状态与上下文管理

更新于 2026-11-08

会话层要解决三件事:上下文里放什么、放多少、什么时候丢弃。多轮对话不是把历史全部拼接,而是维护一份结构化状态:已确认的事实、未完成的待办、引用的资料,以及最近若干轮原文。

上下文窗口有限,长会话必须压缩:把早期轮次总结成摘要,保留关键实体和决策,细节按需重新检索。压缩要放在写事务之外执行,避免一次模型调用把数据库连接占住十几秒。

会话还要和权限绑定:敏感内容不应进入不受控的上下文,共享会话要明确读写范围,审计记录谁在什么时间触发了哪一次生成。

学习笔记:把「对话历史」和「业务状态」分开存。对话可以丢,状态不能丢。

Harness:把评测做成可重复的运行

更新于 2026-11-07

Harness 是包裹模型与运行时的外层框架:构造输入、驱动执行、收集事件、断言结果,并在失败时保留证据。目标不是「跑通一次」,而是「每次都能得出同一个结论」。

一个可用的 harness 通常包含声明式用例(请求、前置状态、断言)、可重复的数据、流式事件解析(完成、错误、心跳),以及脱敏后保存的证据文件。

断言要落在确定性字段上:状态码、任务终态、引用数量、内容版本号、输出长度,而不是「有文字就算通过」。生成类能力还要检查是否出现了无依据的断言。

学习笔记:先用用例固化已修复的缺陷,再谈覆盖率。没有回归用例的修复,迟早会复发。

模型选型与降级策略

更新于 2026-11-07

选型先看任务形态:短问答重延迟与成本,长文起草重上下文长度与稳定性,结构化抽取重指令遵循。同一系统里不同环节使用不同模型是常态,不必强行统一。

工程上要显式管理三件事:超时、重试与降级。主模型不可用时切换备用模型,备用模型能力较弱就降低任务复杂度或改为分步生成,同时在日志里记录实际使用的模型与耗时,便于事后归因。

输出尽量加结构约束:能用 JSON 模式加字段校验,就不用自然语言约定;必须带引用的场景,把引用格式写进模板,并在生成后做一次程序化校验。

学习笔记:把模型当成会变化的外部依赖。版本、上下文上限和限流,都是需要监控的条件。

本站为 AI 技术学习站点,内容仅供学习参考。

内容为公开资料与技术文档的阅读笔记。

湘ICP备2026054980号