本文是两篇 ExploitGym 学习笔记中的第一篇。它不急着读代码,而是先回答一个更基础的问题:当 Agent 坐进评测环境时,它到底在做什么,评测器又到底在判什么。把"两个容器、一个控制器"理解清楚,后面看技术细节会顺很多。
OpenSandbox 学习 03:沙箱运行时
上一篇介绍了 OpenSandbox 的整体架构:管理服务负责准备环境,execd 在环境里执行命令、操作文件。不过,“准备环境”这四个字里还有不少工作。应用指定一个 Python 镜像、CPU 和内存后,究竟是谁创建容器?如果使用 Kubernetes,管理服务和集群控制器又各自做什么?
这些工作由沙箱运行时完成。对应用来说,创建沙箱是一次 API 调用;对运行时来说,它需要把请求变成真正运行的容器或虚拟机,记录环境的状态,并在任务结束后释放资源。同一个沙箱接口能够用于本机和集群,依靠的就是这一层实现。
OpenSandbox 学习 02:核心架构
上一篇用订单统计跑通了 OpenSandbox:应用创建沙箱,把文件传进去,执行 Python,再取回报告。从调用代码看,这只是几个 SDK 方法;但在这几个方法背后,环境的创建、程序的执行、文件的传输和资源的回收,分别由不同的组件完成。
OpenSandbox 学习 01:快速入门
AI Agent 正在把大模型的应用范围从对话扩展到实际工作。编程助手会修改代码、运行测试,数据分析助手会读取表格、执行 Python,浏览器助手会打开网页、填写表单。这些任务往往需要反复尝试:Agent 先执行一个操作,再根据结果决定下一步。要完成这样的工作,除了模型,还需要一套能运行程序、保存文件、返回执行结果的环境。
LangChainGo 学习 03:RAG 实现
LangChainGo 学习 02:架构原理
一个大模型应用最初可能只有几十行代码:接收问题,发送请求,输出回答。加入多轮对话后,需要保存历史消息;加入企业文档后,需要先查找相关资料;再接入报销系统,就需要查询业务数据、处理工具结果。模型调用始终存在,但应用的大部分工作逐渐变成了这些步骤之间的配合。
LangChainGo 是 LangChain 的 Go 实现。它把模型接入、提示词、流程编排、对话记忆、文档检索和工具调用拆成不同组件,通过接口组合起来。本文以一个报销制度问答应用为线索,沿着请求的执行过程,介绍这些组件的职责与实现。
LangChainGo 学习 01:快速入门
用 Go 调用大模型,最先遇到的问题通常不是发出一个 HTTP 请求,而是如何让模型、提示词、历史消息和外部资料可以逐步组合。每个模型服务的请求格式、鉴权方式和流式响应又不完全相同,如果业务代码直接绑定某一家服务,后续替换模型就要重新改一遍调用链。LangChainGo 是 LangChain 的 Go 实现,为这些常见需求提供了可组合的组件。
OpenMeter 学习 04:数据存储设计
本文介绍 OpenMeter 的数据存储设计,结合源码分析用量事件、客户订阅、额度余额、账单和账务记录等数据的保存方式,以及各个存储组件的作用与选型取舍。OpenMeter 使用 ClickHouse 保存和查询用量明细,使用 PostgreSQL 管理业务状态,通过 Kafka 传递使用事件和业务消息,并按配置使用 Redis 保存去重索引与查询进度。下文先介绍整体分工,再分别展开各类数据的存储结构与读写流程。
OpenMeter 学习 03:业务领域与模型设计
一个 AI 服务准备推出付费套餐:每月收取 20 美元平台费,包含十万 Token,超出部分每 Token 收取 0.00001 美元。客户可以升级套餐,运营可以额外赠送额度,企业客户还可以预付一笔余额。产品页面上,这些规则只占几行字。到了实现中,却会出现一连串需要分别回答的问题:赠送的额度月底是否清零;额度耗尽后是否继续放行;套餐升级从今天还是下个月生效;已经出账的费用能否跟着新价格重算。
OpenMeter 用客户、计量器、产品目录、订阅、权益、费用、账单和账务记录来承载这些规则。本文沿着这个 AI 服务展开,重点介绍各个概念为什么存在、源码怎样表达它们,以及相邻模型如何协作。
OpenMeter 学习 02:架构总览
一个按 Token 收费的 AI 服务,最初可能只需要一张用量表:请求完成后记下客户、模型和 Token 数量,月底求和,再乘上单价。随着事件增多,问题逐渐出现在记录和查询链路上:客户端重试可能产生重复记录,离线任务可能补报昨天的用量,逐条写入会拖慢存储,刚上报的事件也未必能立即查到。要得到可信的用量,首先需要弄清这些事件经过了哪些处理,以及每一步成功究竟意味着什么。
OpenMeter 把事件接入、后台写入和计量查询拆开,分别交给 API server、Kafka、Sink worker 和 ClickHouse 协作完成。业务配置及其他需要事务约束的状态保存在 PostgreSQL,内部消息和通知机制则连接后续处理。理解这些组件之间的数据流和一致性边界,比记住项目用了哪些数据库更有帮助。