数字组织下的 Harness 壁垒:多 Agent 的缓存塌陷与上下文编制
十个 Agent 读同一段群聊,等于把这段历史读了十遍。原因是视角:在自己会话里,自己说的是 assistant、别人说的是 user,于是同一段转录被编码成十份不同字节,字节在第一句自己的发言处就分叉——把角色卡挪到后面只能把共享前缀从 3,696 救回来一点点,账单几乎不变。这篇用十人十 Agent 的算例把四种做法算到月账单(174 元对 44.4 元),再逐个拆开九个工程解:vLLM 的块哈希链、SGLang 的基数树、Dynamo 的放置决策、LMCache 与 Mooncake 的容量算术、CacheBlend 与 DroidSpeak 的非前缀与跨模型复用,以及压缩的 1:50 赔率。附一个可点的小动画。
DeepSeek-V4.1 架构解析:把长上下文的成本瓶颈从算力挪到存储
技术报告的标题就是它的全部论点——KV Cache Compression。552B 的 MoE 在 prefill 阶段只激活 8B、decode 阶段激活 16B,这个反直觉配置来自 CED:decoder 的 KV 直接从第 20 层投影,prefill 计算量因此腰斩。CSA2 让 40 层里只有个位数层做完整注意力计算,分层稀疏索引把深层 indexer 的成本与上下文长度脱钩,FP4 与 SWA Bounded Replay 再把单 token global KV 从 3,514 bytes 压到 890 bytes,相对 V1 是 437 倍。后训练章节明说没有算法创新,全部增益来自数据与环境管线的规模化;effort control 首次把 test-time compute 做成 API 上可调的旋钮。KV 变小之后部署瓶颈从显存回到权重,decode 段的选卡答案随之改变。
10万卡算力集群,能训多大的模型?
从显存地板到算力天花板的第一性原理测算。直觉会去数显存——一个机柜20.7TB似乎能装下2万亿参数,但GPT-4权重只要461张卡装下却动用了2.5万张:多出的五十倍算力全为"训完"而非"装下"。集群尺度下显存永远不先触发,算力才是天花板。公式N=√(sC/6R)联立Chinchilla,但工业界超训倍数比论文的20:1高一倍——推理摊销、超稀疏MoE路由、loss持续下降三机制把甜区推到30-50:1,DeepSeek V3/Llama 3技术报告数据佐证。结论:1万卡B300≈3T(吻合产业现实),10万卡Rubin≈17T(对上Grok-5/GPT-6军备逻辑)。
Agent Factory:智能体时代基础设施的八层栈与投资图谱
Agent 不是模型的应用而是新计算范式,互联网后端必须为 agent speed 重构(80% token 花在"搞懂环境"而非完成任务)。八层栈框架(模型推理/沙箱·Agentic OS/数据感知/记忆/协议编排/身份安全/可观测/支付)回答谁在集聚 agent-friendly infra。反共识:模型趋同后胜负手在中间层集聚度非模型层,Agent Factory=横跨五层以上且掌握协议/入口标准的云平台,中国阿里云、海外 AWS 最接近;推理/沙箱/记忆因"工程而非科学"多家并存,真正 alpha 在 Agentic OS 和协议治理智慧两个边缘。
Loop Transformer:一笔用显存换算力的结构性交易
把同一组权重在残差流上反复迭代,用循环深度替代堆叠层数——Looped Transformer 买到的不是更大的脑子,而是同一个脑子多想几轮的能力。它不是参数压缩trick(有独立幂律),也非范式转变(控参下标准Transformer仍更优),是一笔用通用语言建模能力换迭代推理能力的窄带交易。Ouro 2.6B跑出8B推理水平但4x前向计算,字节Seed与谷歌DeepMind有实证,Anthropic仍是零证据rumor。硬件需求从显存容量转向算力密度:利空推理HBM与inter-node光模块,利好中端制程算力与端侧;中美维度上推理侧可能用架构绕开制程壁垒、训练侧仍卡。
Kimi K3 投研深度:架构效率、蒸馏反驳与中外模型差距
K3 以 2.8 万亿参数成全球首个开源 3T 级模型,KDA+Mooncake 架构效率将开源-闭源差距压缩至 3 个月、单位经济可算清(每任务 $0.94,较 Fable 5 便宜 52%)。但"全靠蒸馏"是逻辑跳跃——排名悖论(K3 智能指数落后 Fable 5 却在 Code Arena 等 3 项反超)证伪纯蒸馏叙事。中美差距压至 3-8 个月区间,OpenRouter 中国模型 token 份额飙至 56% 但"量超价未超"。3Q-4Q 瓶颈从算法转向 infra 兑现,昇腾 950 超节点 Q4 上市是 V4 Pro 降价的关键硬件开关。
AI浪潮下的网络安全:从合规驱动到实效驱动的范式重构
Mythos/Fable 等顶尖模型让攻防代差结构性形成——5 月单月挖出 2.3 万个漏洞、27 年零日漏洞成本不足 50 美元、利用窗口从 90 天压缩到 72 小时。合规驱动让位实效驱动,安全预算有望从销售额 1% 升至 3%-10%,AISOC 把告警研判率从不足 5% 拉到 100%,板块从成本中心转向收入引擎。国内关注奇安信、深信服、启明星辰、绿盟,海外对标 Palo Alto 与 CrowdStrike。
金山软件 Alpha考古:被市场重新分类的控股平台
用"滚动10日累计超额"做尺子,复盘金山软件五年相对恒生科技指数的36次异动——业绩发布、AI/信创叙事、游戏单品翻车与宏观情绪逐一定量归因。控股平台折价深到市值低于金山办公51%股权,而雷军系MiMo正在成为压缩折价的那把钥匙。
AI行业框架培训:从Token经济学到三层叙事
Token 是 AI 产业价值的核心度量衡,沿"量→价→值"展开,配套 Infra/模型/应用三层叙事——不讲玄学,只讲可验证的量化锚。全国日均 Token 两年增长 1400 倍,企业端 API Token 同比 320 倍。
宁王的镜子:这一轮内存狂潮,会在什么时候戛然而止?
复盘宁德时代从产能短缺到供给放量的股价大周期,把尺子架到2026年的海力士/三星/美光内存超级周期上——归一化叠加两条股价曲线,回答"海力士现在相当于宁王的什么时候",并给出真正的逃顶信号与见顶时点判断。
构建 AI 投研系统:把"于钟海怎么工作"工程化
数据是投研最核心差异,不是模型——老于 Skills 是 Karpathy LLM Wiki 的投研实例,站在 Garry Tan 生态肩膀上。Claude Code 是骨架,skill 是神经,每天 dogfooding 持续强化,系统"越来越像我"。
Her赛道:人机亲密关系的产业化前夜
需求验证拐点、合规拐点、技术拐点三重叠加——MCP 把硬件-情绪-记忆的集成成本降一个量级,百元级硬件即可接入 AI 伴侣生态,下一个 6-12 个月将决定终局格局。
AI Made in China: Unpacking the Dominant Strengths
从顶刊论文作者国别占比、AI 人才流向到产业链纵深,拆解中国在 AI 创新里真正不可替代的结构性优势。英文版,面向海外投资者。
越过遗忘的边界:模型记忆三层框架与存储红利
大模型的演进史也是一部与"遗忘"抗争的历史——短期记忆(KV Cache)对应 HBM 与 NVLink,中期记忆(Agent 跨会话)下沉 DRAM 与 NVMe SSD,长期记忆催生数据库新蓝海。以 Gemini 3 Pro 1.5T 参数测算,单次训练需 311TB SSD,全球头部模型年存储需求近 4EB,推理侧单平台 HBM 314PB、DRAM 1206PB。
AI Outlook 2026:格局复盘、商业化回顾与关键叙事
从 Clawdbot 能力上限、国产模型对齐 Sonnet/Opus、Coding Plan 脱销,到 Multi-Agent Scaling Law、LLM for AD、办公软件的 Vibe Coding 时刻——2026 年 AI 投资的底层叙事重排。
AI Infra 2.0:Agent 纪元的基础设施堆栈重构
AI Infra 的内涵从支撑模型训练延展到 Agent 运行——基础环境、工具调用、模型记忆、安全支持四类组件构成下一代堆栈。CDN 从内容分发升级为 Agent 高频执行链路,用量结构性提升;短期-中期-长期三层记忆对应 HBM、DRAM、NVMe SSD 分层红利;点工具厂商估值已达百亿美元,一站式 LLMOps 更适配国内市场。
视频生成拐点将至:DiT 路径收敛与中国厂商的百亿美元机遇
Sora 引领 DiT 路径收敛,视频生成模型百亿参数、训练成本千万美元级,低于 LLM 让创业公司入局。国内 2-8 个月追上并肩海外,可灵 2025e ARR 约 2 亿美元全球第一,CR10 约 70% 中国占一半。P端+B端长期约百亿美元空间,单秒定价进入"几毛钱"时代,具备基座模型的厂商握有定价权。
AI行业新趋势:模型降本、多模态革命与中国竞争格局
模型降本走小型化、MoE、线性架构三条路——DeepSeek-V2 以 236B 参数只激活 21B;多模态与端到端掀起体验革命,Sora 后国产 2-3 个月追赶、3D 生成中国厂商领跑;Post-Training 新 Scaling Law 来袭,从数据密集转向推理计算密集。主线看好字节 AI 与科技自强,Top pick 中科创达、金山云、科大讯飞、金山办公。