技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
116 条精选近 30 天 62 条共收录 542 条
OpenJarvis v1.0 发布，这是一个用于在自有硬件上运行个人 AI 智能体的开源框架，现已原生支持 Ollama。该框架由斯坦福大学的 Hazy Research 和 Scaling Intelligence 实验室开发，默认采用本地优先模式，模型在本地运行，云端为可选。安装脚本可自动检测现有 Ollama 安装，并预设了多个开箱即用的智能体预设，如晨间简报、跨文件研究和本地代码助手。
推荐理由：OpenJarvis 作为本地优先的 AI 智能体框架，其 v1.0 版本原生支持 Ollama，为希望将 AI 工作流本地化的开发者提供了开箱即用的选项。
DeepSeek-V4 通过压缩 KV 缓存的 token 维度来支持百万 token 上下文，但这将压力转移到了推理系统。模型采用混合注意力设计，包括压缩稀疏注意力、重度压缩注意力和滑动窗口注意力，这要求推理引擎同时管理三种具有不同大小和生命周期的缓存对象。文章基于在 NVIDIA HGX B200 上的早期部署经验，分析了缓存策略、前缀复用和不同工作负载下的性能权衡。
推荐理由：文章从推理系统角度剖析了 DeepSeek-V4 百万 token 上下文窗口的实现挑战，为开发者评估其实际部署成本提供了具体的技术视角。
Together AI 宣布其 AI Native Cloud 平台上线 DeepSeek-V4 Pro 模型，提供 Serverless Inference 和 Dedicated Endpoints 两种部署方式。
推荐理由：原文给出了模型在平台上的部署细节、定价模式和推理模式选择，读者可以据此判断它如何适配不同复杂度的长上下文任务。
Together AI 开源了 Aurora，这是一个基于强化学习的开源框架，能够从实时推理轨迹中学习并异步更新推测解码器中的草稿模型。该框架将推测解码从静态的一次性设置转变为动态、自我改进的飞轮，在实验中，相比训练良好但静态的草稿模型，Aurora 在 Qwen3 和 Llama3 等模型上实现了额外 1.25 倍的加速。
Ollama 发布 0.19 预览版，在 Apple Silicon 设备上集成 Apple 的 MLX 机器学习框架，以利用其统一内存架构提升性能。新版本支持 NVIDIA 的 NVFP4 量化格式以保持模型精度，并改进了缓存机制，使 Claude Code 等智能体任务响应更快。预览版已针对 Qwen3.5-35B-A3B 模型进行加速，并提供了启动命令。
推荐理由：预览版基于 MLX 框架，并支持 NVFP4 量化格式，为在 Apple Silicon 上运行大模型提供了新的性能基准和部署选项。
fal 推出 MCP Server，让 Claude、Cursor 等 AI 助手能直接搜索、运行和串联 fal 平台上的 1000 多个生成模型。该服务器提供 9 个工具，涵盖模型发现、执行和文件上传，用户只需配置 API 密钥即可在对话中完成图像生成、视频制作、语音合成等复杂工作流。服务本身免费，按标准 fal 定价支付模型调用费用。
推荐理由：通过 MCP 协议将上千个生成模型直接接入 Claude、Cursor 等 AI 助手，简化了多模态创作的工作流。
Replit Agent 4 对设计、协作、构建和规划四大核心模块进行升级，推出无限设计画布支持所有 artifact 类型，改用共享项目协作模式并由 Agent 协助合并，实现规划与构建并行。旧项目仍可使用，新功能如多应用构建和并行任务执行在新项目中可用。
推荐理由：原文详细对比了 Agent 3 与 Agent 4 的核心功能变化，包括设计画布、协作模式和构建流程，读者可据此判断新版本对开发效率的实际提升。
Together AI 联合多所大学的研究人员发布了 Mamba-3，这是一个以推理效率为主要目标的新状态空间模型。Mamba-3 通过更复杂的循环公式、复数值状态跟踪和 MIMO 变体提升了性能，其 SISO 版本在 1.5B 规模上，所有序列长度的预填充+解码延迟均优于 Mamba-2、Gated DeltaNet 和 Llama-3.2-1B。
推荐理由：Mamba-3 将设计目标从训练效率转向推理效率，并开源了内核，为关注部署性能的开发者提供了新的架构选择。
Replit 推出与 Databricks 的新连接器，允许用户在 Replit 中直接访问 Databricks 的治理数据、模型和仓库，无需复制敏感数据。通过 Replit Agent，用户可快速构建如3D天气地球仪等数据应用，Databricks Genie 提供自然语言问答与数据溯源能力。该集成使产品经理、分析师等非工程角色能直接构建受控的企业级数据应用，缩短开发周期。
推荐理由：原文展示了Replit与Databricks的集成方式和实际应用案例，读者可以据此判断该连接器如何支持企业级数据应用的快速构建。
Together AI 推出了一个统一的解决方案，用于在共置的 STT、LLM 和 TTS 基础设施上构建实时语音智能体。该架构将整个语音技术栈保留在同一云上，旨在将端到端延迟降至 500 毫秒以下，并简化部署。平台原生集成了 Cartesia 和 Deepgram 的领先语音模型，为开发者提供了模型选择和配置的灵活性。
推荐理由：Together AI 将语音识别、大模型和语音合成整合在同一集群，为构建实时语音智能体提供了一个低延迟、可灵活选模的解决方案。
Replit 推出 Agent 4，强调在单一环境中实现设计、开发与协作的无缝整合。其四大支柱包括：自由设计（无限画布与UI变体）、快速推进（并行任务与自动拆分）、协同构建（任务流与智能排序）和统一交付（支持Web、移动、幻灯片、动画等多类型产出）。
推荐理由：原文详细说明了 Agent 4 的四大核心能力与协作模式，读者可据此判断其对开发流程的重构潜力。
Replit 开发了一套视频渲染引擎，通过注入 JavaScript 虚拟时钟，替换浏览器的 setTimeout、setInterval、requestAnimationFrame 等时间 API，使页面在受控时间流中渲染，实现帧级确定性。
推荐理由：原文详细拆解了浏览器时间虚拟化和视频渲染的工程实现，读者可据此理解如何在无框架约束下实现任意网页的确定性视频生成。
Ollama 发布新命令 `ollama launch`，可一键设置并运行 Claude Code、OpenCode 和 Codex 等编码工具，支持本地或云端模型，无需配置环境变量或文件。
推荐理由：Ollama 通过新命令简化了本地或云端模型与主流编码工具的集成流程，无需手动配置环境变量或文件。
Replit Agent 推出决策时引导机制，通过轻量级分类器动态注入短小、情境化的指导指令，仅在必要时干预，提升长轨迹任务的可靠性与代码质量，同时降低上下文负担和成本。该机制避免了静态提示的局限，支持数百种可复用微指令，通过诊断信号和外部咨询两种模式有效应对错误循环和高风险操作。
推荐理由：原文给出了决策时引导机制的设计原理和实际效果，读者可以据此理解它如何提升长轨迹任务的可靠性与成本效率。
Fly.io 发布名为 Sprites 的新产品，这是一种可快速创建（1-2秒）、持久化、支持即时快照与恢复的云计算机，旨在替代传统的只读沙箱。作者认为，像 Claude 这样的 AI 智能体需要的是完整的计算机环境，而非每次任务后销毁的沙箱，以便保留状态、避免重复构建环境，并支持更长的交互周期。
推荐理由：作者从自家产品出发，提出了AI智能体开发需要持久化、可快速恢复的完整计算机环境，而非传统只读沙箱的观点。
作者认为理解 AI 智能体的最佳方式是亲手构建一个，并展示了使用 OpenAI Responses API 从零开始实现一个具备工具调用能力的智能体的核心代码。文章指出智能体的核心是管理上下文数组和工具调用循环，其设计自由度很高，实现子智能体、上下文工程等复杂功能在代码层面可能非常简单。作者鼓励开发者通过实践来形成自己对这项技术的判断。
推荐理由：作者通过亲手构建一个简单智能体的代码示例，展示了其核心机制和设计自由度，为读者提供了可复现的实践起点。