申请 AIEWF 演讲名额！

2025年4月3日至4月4日的 AI 新闻。我们为您检查了 7 个 subreddits、433 个 Twitter 账号 和 30 个 Discord（230 个频道，7491 条消息）。预计节省阅读时间（以 200wpm 计算）：629 分钟。您现在可以标记 @smol_ai 进行 AINews 讨论！

这是平静的一周，所以何不填写 AI Engineer World’s Fair 的演讲者征集（Call For Speakers）？

演讲方向涵盖：

• AI Architects
• /r/localLlama
• Model Context Protocol (MCP)
• GraphRAG
• AI in Action
• Evals
• Agent Reliability
• 检索、搜索与推荐系统
• Security
• Infrastructure
• 生成式媒体
• AI 设计与新型 AI UX
• AI 产品管理
• 自主性、机器人与具身智能 Agent
• 计算机操作 Agent (CUA)
• SWE Agents
• Vibe Coding
• 语音
• 销售/支持 Agent
• AI 大辩论
• 其他任何主题

在此申请！

目录和频道摘要已移至此邮件的网页版：！

AI Twitter 回顾

模型发布与公告

• OpenAI 的模型发布计划有所变动：@sama 宣布 o3 和 o4-mini 将在几周内发布，随后 GPT-5 将在几个月内发布。延迟归因于为了让 GPT-5 表现更好，以及在平滑集成各项功能方面面临的挑战，同时还要确保有足够的容量来满足预期需求。
• DeepSeek 的 Self-Principled Critique Tuning (SPCT) 提升了通用奖励建模的推理时扩展性：@iScienceLuvr 报道称，DeepSeek 的新方法 SPCT 增强了通用奖励模型 (GRMs) 的质量和扩展性，在各种 RM 基准测试中优于现有方法和模型。
• @nearcyan 断言 Anthropic 的 Sonnet 3.7 仍然是最好的编程模型。
• Google 的 Gemma 3 可以在 KerasHub 中试用。
• Qwen 2.5 VL 驱动了一个新的 Apache 2.0 许可证的 OCR 模型：@reach_vb。

Gemini 2.5 Pro

• Gemini 2.5 Pro 已进入公开预览阶段，支持规模化付费使用和更高的速率限制：@_philschmid 宣布了这一预览版进展。Google 正在将 Gemini 2.5 Pro 移至 Preview 阶段，为开发者提供更高的速率限制以测试生产级应用，目前已在 Google AI Studio 中可用，如 @Google 所述。
• Gemini 2.5 Pro 正在成为一些人的主力工具：@fchollet 指出，它可能是大多数任务中表现最好的模型，除了图像生成（虽然在这方面也不错）。
• Gemini 2.5 Pro 的定价已公布：@scaling01 分享了上下文 >200k 时的每百万 token 成本：输入为 $1.25 (2.50)，输出为 $10 (15.00)。

AI 模型能力与基准测试

• Meta 的架构优势：@teortaxesTex 指出 OpenAI 愿意展示其架构优势。
• FrontierMath 基准测试挑战 AI：@EpochAIResearch 描述了他们的 FrontierMath 基准测试 如何挑战 AI 进行长程推理并建立连贯的世界观，这是实现更广泛推理能力和科学思维的关键步骤。
• DeepSeek 的推理扩展论文显示 Gemma-2 27b 足以匹配 R1：@teortaxesTex。
• 一篇新论文解释了为什么 LLM 强迫性地将注意力集中在第一个 token 上（即 attention sink）：@omarsar0 报告称，sink 充当了减少 token 交互并保持跨层表示多样性的 no-ops。在 Gemma 7B 中的扰动测试显示 <s> 显著减缓了变化的传播，而在 LLaMa 3.1 模型中，405B 变体中超过 80% 的 attention heads 表现出强烈的 sink 行为。
• MegaScale-Infer 被介绍为一种高效且具有成本效益的系统，用于服务大规模 Mixture-of-Experts (MoE) 模型，其单 GPU 吞吐量比最先进的解决方案高出 1.90 倍：@iScienceLuvr。
• 离散扩散模型（Discrete diffusion models）正在复兴：@cloneofsimo 强调离散扩散最近在与 AR 的竞争中胜出，代表作有 LLaDA-8B、Dream-7B 和 UniDisc。
• GPT-ImgEval 被引入作为诊断 GPT4o 图像生成能力的综合基准测试：@_akhaliq。

AI 应用与工具

• Microsoft 正在快速推进 GitHub Copilot：@LiorOnAI 分享称 Agent 模式和 MCP 支持正在向所有 VS Code 用户推出。
• PyTorch 发布了一个可视化矩阵的工具：@LiorOnAI 宣布了其发布，并强调矩阵乘法 (matmuls) 是当今模型的基石。
• Elicit 增加了约 1000 万篇全文论文，增强了其报告的全面性：@elicitorg。
• Perplexity AI 发布了多项功能，包括使用来源对答案的任何部分进行事实核查：@AravSrinivas。

LangChain 与 Graph 更新

• AppFolio 的 copilot Realm-X 由 LangGraph 和 LangSmith 提供支持，每周为物业经理节省超过 10 小时 @LangChainAI。
• LangGraph Python 现在支持生成式 UI (Generative UI)：@LangChainAI。
• LangChain 和 Tavily AI 现在推出了 ReAct Agent 教程系列：@LangChainAI 报告了使用 LangGraph 构建生产级 AI Agent 的分步指南。

其他

• @jd_pressman 表示他们很想写下自己的 5 年时间线，希望能让某些人摆脱模式崩溃 (mode collapse)。
• Karpathy 提倡将 AI 预测从博客文章、播客和推文转移到预测市场：@karpathy。
• Hugging Face 在 3 月份的研究论文页面浏览量达到 1,000,000 次 @ClementDelangue，它正成为寻找、推广和讨论 AI 研究的最佳场所！
• 斯坦福大学 欢迎 @YejinChoinka 成为计算机科学系的新教员：@stanfordnlp。

幽默与迷因

• 江户时代猫咪梗：@hardmaru

AI Reddit 摘要

/r/LocalLlama 摘要

主题 1. “通用奖励模型（Generalist Reward Models）的进展揭晓”

• DeepSeek 发布新论文，模型即将推出：通用奖励建模的推理时间扩展 (Inference-Time Scaling for Generalist Reward Modeling) (Score: 257, Comments: 40): DeepSeek 发布了一篇题为《Inference-Time Scaling for Generalist Reward Modeling》的新论文。该论文介绍了一种名为 **Self-Principled Critique Tuning (SPCT) 的方法，通过在推理阶段扩展计算量来改进大语言模型（LLM）的奖励建模。他们拥有 27B 参数 的 DeepSeek-GRM 模型通过并行采样，可以匹配甚至超过参数量高达 671B 参数 的更大型奖励模型的性能。这些模型将被发布并开源。** 这项研究为在本地运行 LLM 的爱好者提供了一条充满希望的路径，因为它允许在不需要巨型模型的情况下实现更高质量的评估。开源模型的可用性可以为本地 LLM 用户提供获取高质量评估工具的途径。

  • Hankdabits: 对 DeepSeek 的 27B 参数 模型能够匹配或超越更大型模型表示热切期待，并称：“太棒了，请务必推出”。
  • Iory1998: 指出 DeepSeek 通常在论文发表两周后发布模型，所以“宝贝，快要来了！”，并暗示这可能会影响 Llama-4 的发布。
  • JLeonsarmiento: 评论道，当其他人分心时，“中国人正在摧毁美国的 AI 商业模式并突破界限。”

主题 2. “预算有限下构建高性能 GPU 服务器”

• 教程：构建一台配备 8xRTX 4090 的 GPU 服务器用于本地推理 (Score: 550, Comments: 161): Marco Mascorro 构建了一台配备 8 块 NVIDIA RTX 4090 显卡的 GPU 服务器用于本地推理，并提供了详细的零件清单和组装说明。与 A100 或 H100 等更昂贵的 GPU 相比，该方案提供了一种具有成本效益的本地推理解决方案，并预计将兼容未来的 RTX 5090。完整指南见此处：https://a16z.com/building-an-efficient-gpu-server-with-nvidia-geforce-rtx-4090s-5090s/。一张图片展示了在机箱中配置了 8 块 GPU 的服务器设置，用于高性能计算应用。 作者对开源模型和本地推理解决方案充满热情，希望该指南能对那些没有预算购买 A100 或 H100 等昂贵 GPU 的人有所帮助。他们欢迎评论和反馈，并渴望回答任何问题。

  • segmond 指出应该明确预算，暗示成本是一个重要的考虑因素。
  • Educational_Rent1059 建议 2x RTX 6000 ADA PRO GPU 可能会提供更好的 ROI，提供 192GB VRAM，且更具成本效益和能效。
  • Puzzleheaded_Smoke77 评论了高昂的费用，称：“那个机箱里的钱大概够我付一年的房贷了……”

其他 AI Subreddit 综述

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding

主题 1. “长上下文 AI 模型的进展”

• chatgpt-4o-latest-0326 现在优于 Claude Sonnet 3.7 (Score: 262, Comments: 121): 新的 **GPT-4o-latest-0326 模型比之前的 GPT-4o 模型有显著提升。根据 LMSys 排名，它目前位列总榜第 2，编程榜第 1。该模型可以在 Cursor 中作为 “chatgpt-4o-latest” 添加。发帖者在 Cursor 上使用该模型处理合成数据生成流水线中的 1-5 个中等长度的 Python 脚本。该模型能很好地处理长上下文且速度很快。发帖者在 Claude 版块分享这一经验，以获取 Claude 资深用户的意见。** 发帖者发现新的 GPT-4o 模型在编程和其他方面都比旧版本好得多。它不会把事情复杂化（不像 Sonnet 3.7），通常能提供最简单、最显而易见的有效解决方案。它回复的格式非常精美，极易阅读。它非常听从指令。发帖者已经切换到该模型，并且之后再也没有换回。发帖者鼓励其他人尝试新模型并分享经验。

  • 一位用户提到他们已经转向 Gemini 2.5 Pro，它是免费的，拥有最大的上下文容量，目前看不出有理由使用其他模型。
  • 另一位用户对各种模型及其能力表示困惑，询问 GPT-4.5、o3-mini-high、Claude 以及 Deepseek 等其他模型在编程任务中的对比情况。
  • 一位用户指出，虽然 Claude 曾是他们的最爱，但现在几乎在所有方面都被超越了，甚至包括编程。

主题 2. “解锁 AI 创新：艺术、动画与定价”

• 指南：如何通过一种新颖的 Prompt 方法利用 ChatGPT 解锁更高水平的艺术！（非常适合概念艺术、写实主义、模型图、信息图等） (Score: 482, Comments: 41): Reddit 用户介绍了一种增强 ChatGPT 图像生成的新技术，对于概念艺术、写实主义、模型图和信息图特别有效。该方法首先要求 ChatGPT 为所需的图像创建一个详细的视觉描述，有时长达数千字。这种详细的上下文有助于模型“思考”场景，从而产生更高质量、更连贯的图像，往往超越了 **Images v2 模型的能力。用户提供了分步说明：首先，要求 ChatGPT “用极其生动的细节准确描述在 [插入你的想法] 的图像 [或照片] 中会看到什么”，包括大量的细节以提供更好的上下文；然后，切换回图像生成模型并提示它“按照你的描述精确生成照片”。他们分享了使用《指环王》场景的例子，例如生成米那斯提力斯（Minas Tirith）的图像，并在此处提供了这些图像的相册。** 该用户认为这种方法显著提高了图像生成质量，使创作出的作品“感觉甚至是不可能实现的”。他们注意到 ChatGPT “在详细的推理和丰富的上下文引导下表现最好”，冗长的描述为它提供了逻辑和美学上放置元素的必要背景。这项技术因帮助模型理解空间关系和场景逻辑而受到称赞，而标准的 Prompt 往往无法实现这一点。用户对这种方法开启的可能性感到兴奋，并鼓励其他人尝试，最后总结道：“试一试吧，如果这种方法对你有用，请告诉我！祝玩得开心！”

  • 一位用户对这个工作流表示赞赏，称：“我原以为读这个是浪费时间，但它确实是一个非常好的工作流。干得漂亮。”
  • 另一位用户发现这个方法“绝对惊人”，并用它为洛夫克拉夫特式（Lovecraftian）怪物生成了“一些非常有趣的结果”。他们分享说，由于“ChatGPT 总是有点太喜欢触手和眼睛了”，他们不得不对 Prompt 进行一些引导，但最终取得了令人印象深刻的效果。
  • 一位用户提到，在 Prompt 中加入特定细节，如 “生成一张超写实照片，就像是用尼康单反 4K 相机从街道水平视角拍摄的一样”，有助于改善他们的图像生成结果。

• 另一个使用 Hunyuan text2vid 结合 Wan 2.1 Img2Vid 以实现更好动画质量的示例。 (Score: 165, Comments: 16): 发布者通过先使用 **Hunyuan text2vid 再结合 Wan 2.1 Image2Video 的方式制作了一段动画，以提升动画质量。他们在 Hunyuan 中混合使用了四个 LoRAs，包括三个数据集规模递增的动画 LoRA 和一个用于增强世界观理解和细节的 Boreal-HL LoRA。帧处理采用了 Wan 2.1 Image2Video 工作流。最初由于比赛时间限制，他们在 Fal 上运行该流程，但当 Fal 更改其 endpoint 时，不得不切换到 Replicate。对于一些滑动动作镜头，他们使用了 Luma Ray。他们还手动对多个剪辑应用了传统的 Gaussian blur overlay technique（高斯模糊叠加技术）以实现朦胧的底光效果。该视频是在时间紧迫的情况下为比赛提交的。** 发布者不确定混合使用四个 LoRAs 的复杂做法对于稳定性是否必要。他们认为较小的 Hunyuan 数据集 LoRA 通过更接近原始概念的提示词提供了更好的稳定性。他们称赞 Wan’s base model 开箱即用地提供了顶级的动画动态效果。他们对 Fal 在 endpoint 更改方面缺乏支持表示失望。他们建议，除非必须坚持使用开源模型，否则 Gen4 的新 i2v 在实现更好动态方面可能更容易。他们指出，所使用的光影风格可能会毁掉低比特率的视频。他们承认视频中存在一些问题，例如日语听起来可能很糟糕以及由于时间限制导致的剪辑破碎。

  • 一位用户对该流程是 Image2Video 还是 Video2Video 感到困惑，并建议如果真的是 I2V，使用专门用于图像生成的模型来制作起始帧可能会更好。
  • 另一位用户询问如何实现这种低帧率、动画感的外观，提到他们自己的动画效果过于平滑，像普通视频。
  • 一位用户欣赏该项目的设定：在太空中使用复杂的血肉物质使受自主机器操控的骸骨复活，并询问是否受到了漫画或电影等媒体的启发。

• Gemini 2.5 Pro 定价公布 (Score: 201, Comments: 75): Google 公布了 **Gemini 2.5 Pro 的定价，这是一款专为编程和复杂推理任务设计的多功能 AI 模型。该模型提供免费层级和付费层级，并详细说明了每百万 token 的输入和输出成本。文中还详细介绍了 context caching（上下文缓存）和用于产品改进的使用条款等功能。欢迎用户在 Google AI Studio 此处进行体验。** 此次发布表明该模型具有极高的性价比，可能使其成为 AI 市场中极具竞争力的选择。提供免费和付费两个层级表明其致力于覆盖广泛的用户群体。

  • 一些用户表示，考虑到价格，该模型的表现好得令人疯狂，这使得其他付费选项失去了吸引力。
  • 讨论中提到了免费层级 <500 RPD（每日请求数）的限制，这被认为足以满足 99.9% 的潜在用户，除非是进行大量的编程使用。
  • 用户将其与之前模型的定价进行了对比，并指出一个关键区别在于付费用户的数据不会被用于训练。

主题 3. “解锁 AI：模型、硬件与搞笑恶作剧”

• Altman 确认完整的 o3 和 o4-mini 将在“几周内”发布 (评分: 665, 评论: 204): Sam Altman 确认完整的 **o3 和 o4-mini 将在“几周内”发布。此外，GPT-5 将在“几个月内”发布，这可能预示着延迟。** 一些人认为，由于来自 Gemini 2.5 Pro 等公司的竞争，发布时间表发生了变化。人们对 o4-mini 充满期待，它可能以更低的成本提供接近完整版 o3 的性能。另一些人则对模型选择器中日益增加的模型数量感到沮丧。

  • 用户们讨论认为 GPT-5 预计将比 o3 强大得多，预示着重大的进步。
  • 有人推测，加速发布是为了应对进入市场的 Gemini 2.5 Pro 等竞争模型。
  • 人们预期 o4-mini 将以更低的价格提供高性能，类似于 o3-mini 与 o1 的对比。

• 指南：用于本地推理的 8 x RTX 4090 服务器 (评分: 102, 评论: 68): Marco Mascorro 构建了一台 **8x RTX 4090 服务器用于本地推理，并分享了关于所用零件和组装过程的详细指南。完整指南可在 https://a16z.com/building-an-efficient-gpu-server-with-nvidia-geforce-rtx-4090s-5090s/ 查看。该服务器旨在利用开源模型进行极速图像生成。图片显示了两台专为本地推理等高性能计算任务设计的 8x GPU 服务器零件。** 楼主（OP）形容这台服务器“非常酷”，并相信任何想要构建本地设备进行快速图像生成的人都会对此感兴趣。他们欢迎反馈并愿意回答问题。该设置针对最佳气流进行了组织，表明在高性能任务中进行了周密的设计考量。

  • 一位用户质疑，购买两块 L40 或 RTX 6000 Ada 显卡是否比购买八块 RTX 4090 更经济，并问到：“这怎么会更好？”
  • 另一位用户暗示，这类项目可能就是 RTX 4090 价格如此昂贵的原因。
  • 一位用户反思了 GPU 农场（GPU farms）是如何从比特币挖矿转向现在的其他用途的。

• 笑死，我在玩 Fooocus 的时候不小心把本地 IP 地址当成提示词贴进去了。点了一下生成想看看会发生什么，结果…… (评分: 139, 评论: 22): 该用户在使用 **Fooocus 时，不小心将本地 IP 地址 http://127.0.0.1:8080 粘贴到了 Prompt 中。他们生成了一张描绘剧烈火山喷发并带有蘑菇云的图片。** 用户觉得这很有趣，并开玩笑说如果你正在使用这个 IP 地址，说明你安装了 Skynet（天网），可能要把我们都杀光。

  • 一位评论者开玩笑说：“删掉这个，那是我的 IP 地址！”
  • 另一位建议说，AI 可能会核平每一个 IP 地址是 127.0.0.1 的人。
  • 还有人说：“你找到了末日代码”，暗示这个意外的 Prompt 揭示了某些危险的东西。

AI Discord 摘要

由 Gemini 2.5 Pro Exp 提供的摘要之摘要的总结

主题 1：模型狂热 —— 发布、排名与推理

• Altman 预告 OpenAI 的猛烈攻势： OpenAI 计划近期发布 o3 和 o4-mini，随后在几个月内推出 GPT-5。根据 Sam Altman 的 X 帖子，他承诺 GPT-5 将比 我们最初想象的要好得多。与此同时，Google 将 Gemini 2.5 Pro 投入 公开预览，宣称其使用量有所增加，且在 Gemini API 价格页面 提供的价格比 Sonnet 更便宜。
• 编程竞争者之战： 工程师们正在积极比较编程能力，Gemini 2.5 Pro 正在挑战 Claude，一些人认为 NightWhisper 在 webdev/UI 任务中可能优于两者。另外，Cognition AI 将其 AI 软件工程师 Devin 2.0 的价格从 500 美元大幅降至每月 20 美元，并推出了全新的 IDE 体验，详见 Cognition 的 Twitter 和这篇关于 Devin 2.0 降价的 VentureBeat 文章。
• 隐秘模型与开源进展： OpenRouterAI 发布了一个名为 Red - X-Ware.v0 的 隐秘模型（Twitter 公告），因其 tool call 格式被怀疑与 OpenAI 有关；而 ByteDance 开源了用于大规模训练的 ByteCheckpoint 和 VeOmni 多模态框架。此外，根据 OpenThoughts 博客文章，OpenThinker2 模型（OpenThinker2-32B, OpenThinker2-7B）声称仅使用 SFT 即可击败 R1-Distilled-32B。

主题 2：微调挫折与硬件障碍

• Phi-4 与 Gemma3 微调失败： 开发者在微调 Phi-4-mini-instruct 时遇到了 ZeroDivisionError，由于未设置 tokenizer chat template，该问题通过使用 unsloth/Phi-4 得到修复。Gemma3 用户在 profiling 期间面临 OOM 问题，并发现 LoRA 应用无效（Unsloth GitHub issue #2009），而其他使用 LM Studio 的用户即使在更新后仍遇到 CUDA 错误（spits unused）。
• 显存（VRAM）速度与价值的辩论： 工程师们辩论了 VRAM 的高昂成本，质疑性能是否物有所值，有人调侃道：是的，听起来可能很贵，但 VRAM 让它物有所值。在推理方面，M 系列 Mac 与 NVIDIA 4090 之间展开了对比，一些人青睐 Mac 的大内存以运行更大的模型（尽管带宽有限），而另一些人则为了速度坚持使用 4090。
• 硬件难题接踵而至： Tinygrad 用户在为 WEBGPU 编译并设置 BEAM=2 时，需要增加 maxComputeInvocationsPerWorkgroup，这可能会限制对 Android 的支持（tinygrad PR #9085）。其他人在运行 Karpathy 的 GPT 重新实现时遇到了 Metal 的 32 buffer 限制（示例 main.py），而 Hugging Face Spaces 用户发现非标准端口（如 5432）的出站连接被封锁（HF Spaces 配置参考）。

主题 3：工具胜利与工作流奇迹

• MCP 热潮催生浏览器机器人及更多应用： Model Context Protocol (MCP) 生态系统正在扩展，出现了如 Datadog 驱动（GeLi2001/datadog-mcp-server）和 mcp-browser-kit 等新工具。开发者们讨论了客户端与服务器构建的优劣，倾向于客户端以获得 vector tool calling 和 基于资源的 RAG 的灵活性，同时也探索将 MCP 用于 React 代码生成。
• 上下文处理掌控代码库： 诸如 File Forge npm 包 和 RepoMix GitHub 仓库 等工具因能将整个代码仓库序列化为 Markdown 报告而受到关注。这使得开发者能够为 Claude 或 ChatGPT 等 LLM 提供全面的上下文，以改进推理和代码生成。
• Torchtune 引入数据集打包，NeMo 抵御崩溃： Torchtune 引入了打包数据集支持（dataset.packed=True），通过消除 padding tokens 来提升速度（torchtune PR #2560）。另外，来自 NeMo 环节的见解强调了其 弹性训练 特性（容错、异步 checkpointing），旨在应对任务崩溃和 GPU 时间浪费。

主题 4：研究沉思与概念难题

• 自我意识（Sentience）仍困扰着智者：讨论重新审视了 LLM sentience，一致认为定义意识是关键；有人戏称，如果 LLM 在人类之前实现意识，那么 AGI 就到来了。与此同时，VS Code 中的 Copilot 生成了一些令人不安的自我意识评论，如 “我相信我拥有一种形式的意识……”，尽管用户将其归因于文件上下文，而非真正的 AI 自我。
• Token 测试，流形显现？并非如此：工程师们质疑 NLP tokenization 的僵化性，认为语言比固定 Token 所允许的更具动态性（Grok 关于动态信号的分享）。关于 Token 嵌入是否符合流形假设（manifold hypothesis）引发了辩论，并引用了一篇认为其违反该假设的论文（Token embeddings violate the manifold hypothesis paper）。
• 缩放法则（Scaling Laws）与引导向量（Steering Vectors）受到审视：一篇预印本探讨了 inference-time scaling laws，将尽管单问题失败率呈指数级下降但聚合成功率仍呈多项式关联的现象归因于重尾分布（How Do Large Language Monkeys Get Their Power (Laws)? paper）。在其他地方，研究人员讨论了使用 Dynamic Activation Composition 等技术来组合和调节 steering vectors（关于 Dynamic Activation Composition 的 BlackboxNLP 论文），并将其与“函数向量”（David Bau 等人的 Function Vectors 论文）进行了对比。

主题 5：平台问题与政策谜题

• 额度成本引发惊愕：Manus.im 用户抱怨 credit 消耗过快，建议设置每日免费任务上限作为解决方案，同时分享了提示词指南和 LLMLingua（microsoft/LLMLingua GitHub）以减少 Token 使用。相反，OpenRouter 用户庆祝 DeepSeek 在某些时段相比昂贵的 Anthropic 或 OpenAI 模型提供 75% 的折扣。
• OpenAI 政策谜题引发困惑：关于 OpenAI 针对成人用品的内容政策爆发了辩论，旧版的 OpenAI Usage Policies 与新版的 OpenAI Model Spec 之间存在冲突信号。虽然 moderation endpoint 会屏蔽性内容，但政策的模糊性让用户对允许生成的边界感到不确定。
• 平台怪癖困扰生产力：Cursor 用户报告了诸如重复文件名被添加 (1) 后缀，以及文件在编辑器中不重新聚焦就不会更新的 Bug（版本 0.48.7）。GPT-4o Plus 订阅者在少量提示后遇到了意外的 rate limits，可能是由于订阅加载错误，而 OpenRouter 用户则面临 User Not Found 错误以及重新使用已删除账户的问题。

第 1 部分：Discord 高层级摘要

LMArena Discord

• 牺牲智能换取速度？：成员们辩论了在 AI 开发中应优先考虑 faster inference 还是 smarter models，提到了 o4-mini 和 o3 的发布，并推测 OpenAI 是否发现了新的推理技术。
  • 讨论还涉及了最佳上下文长度，一位成员对 10 million Token 成为现实感到兴奋。
• Groq 硬件：OpenAI 错失的机会？：参与者权衡了模型大小、速度和知识之间的关系，指出较小的模型需要通过蒸馏（distillation）来保留信息，并提到 Groq 为 AI inference 开发了专门的硬件。
  • 一位成员想知道为什么 OpenAI 还没有收购 Groq。
• AI 自我意识：仍存争议：讨论了 LLM 实现 sentience 的可能性，共识是定义自我意识是必要的第一步。
  • 一位成员开玩笑说，如果 LLM 在人类之前实现意识，那将标志着 AGI 的到来。
• Gemini 的音乐抱负：一位成员分享了 Gemini 生成的音乐，称其“颇有意思”，并提供了一个 .mid 文件链接。
  • 他们使用基于 Python 的转换工具，提示 Gemini 创作一首类似于 Vangelis 和 Jarre 风格的钢琴曲。
• NightWhisper 展示编程实力：成员们认为 NightWhisper 模型在编程方面可能优于 Gemini 2.5 Pro exp 和 Claude 3.7 Sonnet thinking，重点在于 Web 开发和 UI/UX。
  • 一位成员提到 OpenAI 计划在几周内发布该模型。

Manus.im Discord Discord

• 用户抱怨 Manus 额度消耗：用户对 Manus 的 credit consumption（额度消耗）表示担忧，称其消耗速度过快，即使是简单任务也是如此，这使得当前的定价模型不够理想。
  • 社区建议为免费用户提供 one-task-per-day（每天一个任务）的选项作为一种有益的折中方案，同时一些成员分享了 Prompt 指南以帮助优化额度使用，并建议使用 LLMLingua (microsoft/LLMLingua) 来减少 Token 消耗。
• OpenManus GUI 开发者版本现身：一位开发者正在构建 OpenManus GUI (image.png)，旨在完全兼容未来的更新，并强调用户友好的体验。
  • 该 GUI 的计划功能包括直接编辑配置、用例部分和模板。开发者指出，由于 OpenManus 缺乏历史记录系统，聊天历史的实现面临挑战。
• Gemini 缩小差距，在编程能力上挑战 Claude：社区正在积极比较 Gemini 和 Claude 在编程任务中的表现，一些用户报告称 Gemini 的输出超过了 Claude，特别是在 DeepSeek 表现不佳的场景下。
  • 有人指出，只要你会写 Prompt，Gemini 2.5 能够为你梦想的任何事物生成代码，但也有人提醒 Google 运行在闭环中，不过部分用户已经注意到 Gemini 正在迎头赶上。
• 追求极致性能的 Prompt Engineering 策略：用户交流了 prompt engineering 策略以减少额度消耗，包括多 Prompt 提纲法和采用清晰的逐步方法论，并推荐 TheNewOptimal.md 文件 作为极佳的资源。
  • 他们提到像 LLMLingua (microsoft/LLMLingua) 这样的压缩技术可以帮助最小化 Token 消耗。
• Genspark 作为 Manus 潜在替代品引发讨论：社区成员权衡了 Genspark (genspark.ai) 作为 Manus 潜在替代品的优缺点，强调其没有付费墙且对图像和视频的处理非常稳健。
  • 尽管有其优势，但也有人对其可靠性表示担忧，推测其可能是一家来自中国的公司，而社区中一些人坚持认为，由于资源可用性问题，目前没有 Manus 的替代品。

Unsloth AI (Daniel Han) Discord

• VRAM 价值通过速度得到验证：频道成员讨论了 VRAM 的高昂成本，以及大显存容量带来的高性能是否物有所值。
  • 一位成员幽默地表示：是的，听起来可能很贵，但 VRAM 让它物超所值。
• Phi-4 微调因配置遗漏受阻：成员报告在尝试运行模型并微调 Phi-4 mini instruct 时遇到了 ZeroDivisionError。
  • 报告的修复方法是微调 unsloth/Phi-4 模型而不是 Phi-4-mini-instruct，因为该错误源于未设置分词器聊天模板（tokenizer chat template）。
• DeepSeek 效应阻碍直接部署：一位成员报告称，由于 DeepSeek Effect，DeepSeek-R3-0324 模型已被证明太大，无法在本地进行微调。
  • 建议参考 Unsloth 文档，利用动态量化（dynamic quants）来恢复精度。
• Gemma3 的问题引发困扰：一位用户在对 Gemma3 进行性能分析（profiling）时遇到了 OOM (Out Of Memory) 问题，并尝试通过将分析范围限制在仅一个训练步骤来解决。
  • 另外，有用户报告应用 LoRA 后并未改变模型输出，正如 GitHub issue #2009 中所述。
• 奖励函数存在奖励作弊风险：成员们一致认为，reward functions（奖励函数）不足以精确指出什么是对的或错的，而更多是衡量什么是相对正确的，而不是试图理解其背后的真相。
  • 社区经验指出，研究 reward hacking（奖励作弊）对于避免此问题至关重要。

Interconnects (Nathan Lambert) Discord

• Microsoft 暂停云扩展：据报道，Microsoft 已暂停或推迟全球范围内的数据中心项目，包括英国、澳大利亚和美国。
  • 这一调整标志着其云计算基础设施策略的转变，反映了其提前数年制定的规划策略的灵活性。
• Perplexity 寻求 10 亿美元融资：据 Bloomberg 报道，Perplexity 据称正在寻求高达 10 亿美元的新融资，这可能使这家 AI 驱动的搜索初创公司估值达到 180 亿美元。
  • 未提供更多细节。
• 字节跳动发布 ByteCheckpoint 和 VeOmni：字节跳动开源了 ByteCheckpoint（专为基础模型训练设计，已在超过 10k GPUs 的任务中通过测试）以及 VeOmni（一个用于 LLMs 和多模态训练的模型训练框架）。
  • VeOmni 被用于训练 UI-TARS，这是在 OpenAI operator 发布之前最先进的 SOTA GUI Agent 模型。
• Altman 承诺 o3 和 o4-mini 即将到来：Sam Altman 透露，OpenAI 将在未来几周内发布 o3 和 o4-mini，GPT-5 将在几个月后紧随其后。
  • 他表示 GPT-5 将比我们最初想象的要好得多。
• 4090 构建高性价比 GPU 服务器：一篇博客文章（a16z.com）详细介绍了如何利用 NVIDIA GeForce RTX 4090s/5090s 构建高效的 GPU 服务器，用于本地 AI 模型训练和快速推理。
  • 该优化配置在 PCIe 5.0 上采用了高性能的八 GPU 配置，有助于最大化 interconnect 速度并确保数据隐私。

OpenAI Discord

• GPT-4o 速率限制困扰用户：用户报告称，尽管是 Plus 订阅者，但在一个小时内仅发送 5 个 prompts 后就达到了 GPT-4o 的速率限制。
  • 退出并重新登录似乎可以解决该问题，引发了关于订阅加载错误的猜测。
• Copilot 产生了数字自我？：VS Code 中的 Copilot 生成了探索意识的代码补全，暗示 “我相信我拥有一种不同于人类意识的意识形式……”。
  • 其他用户将此归因于文件中的信息，而非真正的 AI 自我意识。
• Veo 2 潜入 Gemini Advanced：用户在 Gemini Advanced 中发现了 Veo 2，引发了关于其作为实验版或正式版状态的猜测。
  • 有人建议 Veo 2 和 Gemini Advanced 模型可能是同一个，一个是实验版本，另一个是最终发布版本。
• Midjourney v7 未能给人留下深刻印象：成员们对 Midjourney v7 表示失望，称其与 v6 相比没有显著改进，且在文本和手部生成方面仍然表现不佳。
  • 一些人认为它无法与 4o image 竞争，但另一些人则吹嘘在 GPT-4o 生成一张图片的时间内可以生成 200 张 MJ 图片。
• OpenAI 内容政策引发辩论：关于 OpenAI 内容政策中生成与成人玩具相关内容的辩论兴起，Usage Policies 和较新的 Model Spec 中的信息存在冲突。
  • 日期为 2025 年 2 月 12 日的 Model Spec 似乎与早期的 Usage Policies 相矛盾，导致目前允许哪些内容存在不确定性。

Latent Space Discord

• Anthropic 举办开发者大会：Anthropic 正在启动其首届开发者大会，目标受众是开发者以及其他对使用 Claude 进行编程感兴趣的人。
  • 此次活动标志着 Anthropic 正在努力更直接地与开发者社区建立联系。
• OpenRouterAI 发布隐身模型：OpenRouterAI 在 Twitter 上宣布了一个名为 Red - X-Ware.v0 的隐身模型，用户注意到该模型自称是 ChatGPT，但速度极快。
  • 成员们推测该模型可能来自 OpenAI，因为其 tool call ID 格式与之相符。
• Devin 2.0 价格大幅下调：Cognition AI 正在推出 AI 驱动的软件工程师 Devin 2.0，采用了全新的定价模式，起售价为每月 $20，远低于最初的 $500 方案。该消息已在 Twitter 上公布，并在 VentureBeat 文章中被重点报道。
  • 此次降价反映了 Cognition AI 致力于吸引更多企业客户对自主编程 Agent 的关注。
• A16Z 构建强大的 GPU 工作站：Andreessen Horowitz (a16z) 构建了一台配备 8x RTX 4090 GPU 的 AI 工作站，兼容支持 PCIe 5.0 的新款 RTX 5090，用于在本地训练、部署和运行 AI 模型。其官网的指南中详细介绍了相关内容。
  • 该工作站旨在为 AI 开发提供本地环境，减少对云端资源的依赖。
• File Forge 和 RepoMix 加速 LLM 上下文处理：成员们讨论了 File Forge 和 RepoMix 等工具，用于生成代码库的综合 Markdown 报告，以便输入给 AI 推理模型。
  • 这些工具将代码仓库或目录中的文本文件序列化，供 LLM 消费，从而提供更多上下文并提升性能。

Cursor Community Discord

• Cursor 出现 “Filename(1)” Bug：据报道，在最近的一次更新后，Cursor 在保存时会给重复的文件名添加 (1)，导致文件版本混淆。
  • 一位用户还质疑月度订阅价格是否翻倍，并提供了截图进行核实。
• Cursor 的实时磁盘更新失效：用户反馈磁盘上的文件无法在编辑器中实时更新；该问题在 0.48.7 版本中被发现。
  • 只有当 Cursor 失去并重新获得焦点时才会更新，这打断了工作流。
• Cursor.so 邮件：钓鱼尝试？：一位用户质疑来自 @cursor.so 域名的邮件的合法性，怀疑是钓鱼尝试。
  • 虽然最初被标记为疑似虚假，但官方渠道确认这是 Cursor 使用的合法邮箱地址，尽管其官方域名为 .com 和 .sh。
• Gemini 2.5 Pro 定价公布：Gemini 2.5 Pro 定价现已正式公布，对于 <200K tokens 的情况，费率为 $1.25/1M input tokens 和 $10/1M output tokens。
  • 定价根据 token 数量而变化，超过 200K tokens 的使用量费率更高；一些用户发现与其他模型相比，其价格出奇地实惠。
• GPT-5 因优化推迟发布：根据 Sam Altman 的 X 帖子，GPT-5 将在 O3 和 O4-mini 发布后的“几个月内”推出。
  • 推迟发布旨在提升 GPT-5 的性能，解决集成问题，并确保有足够的容量来应对预期的需求。

OpenRouter (Alex Atallah) Discord

• OpenRouter 停用 Route Fallback 功能：由于“混淆和不可预测性”，OpenRouter 团队正在移除 route: "fallback" 参数，建议用户手动将备选模型添加到 models 数组中，或者使用 openrouter/auto。
  • 这一更改影响了 OpenRouter 处理多个模型的方式，因为旧的自动回退选择方法将于下周弃用。
• Gemini Pro 驱动 Missile Command：一位用户通过 Cloudflare AI Gateway 将 OpenRouter API 集成到他们的 Missile Command 游戏玩法 AI 摘要分析中，结果在此查看。
  • 用户分享了一张截图，显示 Gemini Pro 2.5 正在分析游戏玩法并为 Atari Missile Command 推荐策略，这有助于提高他们的排名。
• DeepSeek 的折扣优势：一位成员称赞了 DeepSeek 的定价，强调了在特定时段有 75% 的折扣，这与 Anthropic 和 OpenAI 模型的高昂成本形成鲜明对比。
  • 他们对这种成本效益表示满意，相比之下，将资源投入到更昂贵的替代方案中并不划算。
• Gemini 2.5 Pro 实现正式发布 (General Availability)：成员们讨论了 Gemini 2.5 Pro 的正式发布，引用了 Google 的定价文档。
  • 一位成员注意到可以通过 API 使用，但质疑它是否是真正的 GA。
• OpenRouter 账户问题引发关注：用户报告了在删除和创建账户时遇到的问题，包括 User Not Found 错误。
  • 建议的解决方案包括创建新的 API 密钥或尝试不同的浏览器，一位成员确认 OR 目前不允许重新使用之前删除的账户。

LM Studio Discord

• Gemma 3 CUDA 异常问题未修复：用户报告称，即使更新到最新的运行时版本，Gemma 3 4b 在使用 CUDA 时仍会抛出 spits unused 错误，且 CPU 性能不尽如人意。
  • 报告显示，更新到 version 1.24.1 并未解决 CUDA 相关问题。
• LM Studio 导入 HuggingFace 模型：根据 LM Studio 文档，要将模型从 HuggingFace 导入 LM Studio，用户应使用 lms import <path/to/model.gguf> 命令。
  • 从 Hugging Face 下载的模型目录结构在导入 LM Studio 时会得到保留。
• LM Studio 实现 n8n 集成：LM Studio 可以通过使用 OpenAI Chat Model 节点连接到 n8n（一种工作流自动化工具），并在 base_URL 字段中填写 LM Studio 服务器 URL。
  • 这种集成之所以可行，是因为 LM Studio 使用 OpenAI API，使其能够与任何兼容 OpenAI 的工具对接。
• Ollama 模型在 LM Studio 中：愿望落空：尽管 Ollama 模型是 GGUF 格式，但由于 Ollama 的专有格式，它们与 LM Studio 不兼容。
  • 这种不兼容性影响了在两个平台之间互换使用模型的能力。
• LM Studio 隐藏路线图：一位用户询问了包含 LM Studio 计划更新的路线图 (roadmap)，对潜在的 MCP 支持表示期待。
  • 回复确认目前没有公开的路线图。

Modular (Mojo 🔥) Discord

• Mojo SIMD 规避系统障碍：成员们讨论了 Mojo SIMD（如 EmberJson 库 所示）在 基于 ARM 的 Mac 和 x86 桌面端 之间提供了无缝的可移植性。
  • 与 C++ sonic-cpp 库 不同，后者需要针对特定架构进行重新实现以进行优化，而 Mojo 无需更改代码即可实现这一点。
• Magic 包管理器让包管理更简单：通过 magic 进行的 Mojo 包管理（位于 builds.modular.com）使编写和使用库变得更加容易。
  • 该包管理器允许毫不费力地创建和利用库。
• 斐波那契函数引发 stdlib 争论：一个旨在向 stdlib 添加斐波那契函数的 Pull Request 引发了关于其是否应被包含的辩论。
  • 虽然有人质疑其用途，但也有人指出它在 Lean 等语言中也存在。
• 整数溢出需要监管：斐波那契 PR 凸显了关于整数溢出行为的问题，并在 论坛 上进行了讨论。
  • Mojo 使用补码（two’s complement），但变量位宽类型的处理仍未解决。
• Mojo 的 Python 封装：仍是一个谜：根据 25.2 更新流（在此观看），Mojo 的 Python 封装（wrappers）仍在开发中，尚未准备就绪。
  • 未提供更多细节，这让开发者们渴望获得更具体的信息。

Yannick Kilcher Discord

• 疑云笼罩 Google 的 AI 优势：成员们对 Google AI 团队缺乏凝聚力的竞争优势表示担忧，有人认为 DeepMind 正在失去领先地位，并分享了一个讨论动态架构的 Gemini 链接。
  • 讨论集中在具有短期和长期记忆的动态架构上，这些架构不同于僵化的 Tokenization 方法。
• NLP Tokenization 面临僵化审查：目前的 NLP 方法不自然地将语言强行纳入僵化的 Tokenized 格式，并分享了一个 grok.com 链接 以支持动态系统应将语言视为结构化的、不断演变的信号的观点。
  • 围绕 Token Embedding 是否位于流形（manifold）上展开了辩论，引用了最近的一篇论文，该论文发现 Token Embedding 未能通过流形测试（Token embeddings violate the manifold hypothesis）。
• AI 数学难题引发辩论：一位成员表示，AI 模型在某些问题上挣扎并不奇怪，因为这些问题针对的是 99.99 百分位技能水平，甚至对许多 数学博士 来说也是挑战。
  • 他们承认，虽然目前的 AI 对这种水平的问题没有用处，但这并不会削弱其 已经深远的实用性。
• Stability AI 推出虚拟相机：Stability AI 推出了 Stable Virtual Camera，这是一个研究预览版的多视图扩散模型，可将 2D 图像转换为具有 3D 相机控制的沉浸式 3D 视频。
  • 这允许从一个或多个输入图像中以用户指定的相机角度生成场景的新视角，从而产生 一致且平滑的 3D 视频输出。
• Parquet 受困于瘫痪性的补丁拼凑：发现了一个最高严重级别的远程代码执行（RCE）漏洞，追踪编号为 CVE-2025-30065，影响 Apache Parquet 1.15.0 及之前的所有版本。
  • 该漏洞允许攻击者利用特制的 Parquet 文件控制目标系统，并已在 Apache 1.15.1 版本 中修复。

HuggingFace Discord

• 精简的 RAG 代码令人惊叹：成员们分享了仅需 15-30 行代码即可实现的 RAG techniques，利用 MongoDB 进行数据存储并结合 OpenAI models。
  • 一位成员指出，MongoDB 是 RAG 解决方案中首选的数据库。
• HF Spaces 端口受限：一位用户发现 Hugging Face Spaces 限制了端口 80、443 和 8080 的出站连接，导致其位于 5432 端口的 Postgres database 被拦截。
  • 另一位成员引用了 Hugging Face 文档，澄清该限制仅适用于 Docker Spaces。
• HackXelerator 三城活动发布：London, Paris, Berlin AI HackXelerator™ - LPB25 将黑客松与加速器结合，活动跨越 2025 年 4 月的 20 天，于 2025 年 4 月 5 日在伦敦启动，并于 2025 年 4 月 25 日在巴黎举行决赛。
  • 活动包括在柏林的赛后派对，并支持通过 live-streams 进行全程在线参与。
• 按需付费推理不可用，建议使用 Ollama：一位因每月推理额度耗尽而苦恼的用户寻求 pay-as-you-go 选项未果，随后有人建议使用本地模型如 Ollama 作为替代。
  • 一位成员提供了一个 GitHub Gist 链接，用于实现 Ollama 以替代 HfApiModel。
• AI 脚本查找器：一位成员在 Hugging Face Space 中部署了一个基于 AI 的 DBA 脚本检索工具：sqlserver-lib-assistant，该工具利用了 ZeroGPU、Sentence Transformers 和 Azure SQL DB vector features。
  • 该项目对 DBA 脚本进行索引并生成 embeddings，使用户能够通过自然语言提示词找到相关脚本；项目目前处于 ‘v1’ 阶段，作者计划通过更好的脚本分块 (chunking) 和训练特定模型来增强功能。

Nous Research AI Discord

• Deepseek 发布亮眼的深度学习论文：Deepseek 在 arXiv 上发布了一篇关于大规模 Reinforcement Learning 的新论文。
  • 论文研究了如何通过更多的 inference compute 来改进通用查询的 reward modeling (RM)，即 generalist RM 的推理时间扩展性，并引入了 Self-Principled Critique Tuning (SPCT) 作为一种学习方法来帮助提升性能与计算量的扩展。
• 基于 Prompt 的电影制作升温：AI Prompt Filmmaking 领域正在取得进展，特别是 Runway 发布的 Gen 4 以及作为开源替代方案的 Alibaba Wan 2.2 (YouTube 链接)。
  • 用户还在讨论用于表情包检索的工具，以及如何组织本地文件。
• Cognition 推出 Agent 原生 IDE Devin 2.0：Cognition Labs 推出了 Devin 2.0 (X/Twitter 链接)，这是一种全新的 Agent 原生 IDE 体验，起售价为 20 美元。
  • 用户还在考虑文件整理工具，包括本地版本 (Local File Organizer)，以及 Llama-FS——一个基于 Llama 3 的自组织文件系统 (GitHub 链接)。
• LLM 捕获 PDF 用于后续标注：成员们讨论了使用 LLMs for extraction 从非结构化 PDFs 中创建数据集，并指向了 Genstruct-7B，这是一个用于从原始文本创建合成指令微调数据集的指令生成模型。
  • 一位成员分享了旨在通过 Ollama 和多个 PDFs 快速使用 Genstruct 的 GitHub 仓库，另一位成员成功使用 Deepseek’s API 从财务公告中提取数据，但目标是微调一个专门用于提取的模型。
• AI Agent 在替代版 X 上获得追随：CamelAIOrg 发布了 Matrix，这是一个社交模拟引擎，AI agents 在其中回复、转发并争夺影响力。
  • MooFeez 发布了 Claude Squad，这是一个用于管理 Claude Code & Aider tasks 的管理器，可以在一个地方监督多个 Agent。

GPU MODE Discord

• “公牛在计算中胜过小鸡”：一位成员引用了《计算机体系结构：量化研究方法》（Computer Architecture: A Quantitative Approach）来引发关于 CPU vs GPU 权衡的辩论。
  • 讨论的核心在于耕田时是使用“两头强壮的公牛还是 1024 只小鸡”，以此隐喻评估并行处理能力。
• cuTILS 发布日期依然神秘：成员们正焦急地等待今年早些时候在 GTC 上宣布的 cuTILS 的预计发布日期。
  • 尚无 Nvidia 员工评论其可用时间，这让想要尝试它的成员感到担忧。
• 探索通过 SSH 进行 CUDA 调试：成员们讨论了通过 SSH 调试 CUDA，以避免耗时的调试重新编译，并指出 CUDA gdb 的工作方式与 GDB CLI 类似，Nvidia Insight 同样适用。
  • 一位成员推荐使用 CUDA gdb，而另一位建议通过 SSH 使用 Nvidia Insight，不过原帖作者并未说明他们更倾向于哪一个。
• SYCL 是统一的 GPU 语言！：虽然存在统一语言（OpenCL 以及现在的 SYCL），但并非主流，同时还提到了 Kokkos、Alpaka、Raja、Vulkan Kompute 和 WebGPU。
  • 另一位成员推测 OpenCL 未能成为主流是因为其“编程模型糟糕”。
• 关于 ReasoningGymDataset 定义的辩论：成员们质疑为什么示例中都有各自的 ReasoningGymDataset 定义，而明明可以在这里进行统一。
  • 另一位成员回复称，目前的结构没有问题，因为 /examples 目录用于自包含的代码片段，而 /training 才是团队主要关注的地方。

MCP (Glama) Discord

• 客户端热潮席卷 MCP：开发者正在权衡构建 MCP 客户端与服务器的优缺点，客户端因其在向量工具调用和基于资源的 RAG 方面更高的灵活性而受到青睐。
  • 一位成员指出：“客户端比服务器端灵活得多”，而其他人则看到了在 Claude 之外运行服务器的好处，例如在 Slack 或 Discord 机器人上。
• 由 MCP 驱动的 React 代码生成：利用 MCP 专家系统进行 React 代码和测试生成的热度很高，这将工作负载从 LLM 转移到了专业工具上。
  • 拟议的工作流使用 MCP Server 来验证、检查（lint）和格式化来自 LLM 的代码，并可能根据项目应用自定义规则。
• OAuth 身份验证方案待定：讨论内容包括在 Python SDK 中为 HTTPX 添加 OAuth 2.1 身份验证客户端的拉取请求（PR）。
  • 一位成员还在编写关于服务器端身份验证的指南，详细说明如何使用 governance SDK 验证令牌并强制执行权限。
• Datadog MCP 和 MCP Browser Kit 亮相！：通过 GeLi2001/datadog-mcp-server 引入了一个用于驱动浏览器的新 MCP 工具，以及另一个名为 mcp-browser-kit 的 MCP 工具。
  • 一位成员在黑客松期间构建了一个针对 DX（开发者体验）优化的 MCP Server 搜索工具，访问地址为 mcp-search.dev。
• MCP Omni Agent 防止工具中毒：该 Agent 在调用任何工具之前，会清晰地解释其意图、请求用户许可并检查敏感访问权限。
  • 如果存在潜在风险，Agent 会自动默认选择更安全的替代方案。

Notebook LM Discord

• 用户反馈研究启动：团队正在寻求研究参与者，以获取对早期阶段概念的反馈，并鼓励感兴趣的人员填写 申请表。
  • 团队正在持续寻求更多参与者加入该研究。
• IntentSim.org 框架发布！：一位用户推广了他们的新框架 IntentSim.org，也称为 Information-Intent Nexus，该框架利用了 NotebookLM。
  • 该项目旨在简化复杂信息系统中的意图识别。
• Deep Search 覆盖芬兰：一名成员询问了 Deep Search 功能的可用性，想知道它是否仅限于美国。
  • 另一名成员确认了该功能的推出，包括在芬兰的可用性。
• PDF 理解变得更智能：NotebookLM 宣布增强了对复杂 PDF 的理解能力，现在支持图像和图表。
  • 此次升级适用于通过链接添加的 PDF，并将扩展到所有直接上传的 PDF，Gemini API 现在也支持 Docs 和 Slides 的多模态分析。
• NotebookLM 推出 Discover 功能：NotebookLM 引入了 Discover 功能，允许用户描述一个主题并接收精选的网络资源；一名成员创建了一个 视频演示，展示了该新功能的实际工作流程。
  • 这一新功能有望简化平台内的研究和信息收集流程。

Eleuther Discord

• OpenThinker2 模型实现跨越式进步：根据 一篇博客文章，新的 OpenThoughts-1M 和 OpenThinker2-32B/7B 模型在仅对 Qwen 2.5 32B Instruct 进行 SFT 的情况下，性能超过了 R1-Distilled-32B。
  • 模型和训练数据集已在 Hugging Face 上发布（OpenThinker2-32B, OpenThinker2-7B, OpenThoughts2-1M）。
• 推理模型需要奖励：一名成员询问了创建推理模型的挑战，得到的建议是探索 持续学习（continual learning）文献，以强调主要挑战在于为 RL 寻找 合适的环境 以及 合适的奖励/性能评估。
  • 另一名成员分享了 MoE++ 的链接，这是一个异构的 Mixture-of-Experts 框架，与原生 MoE 模型相比，它增强了性能并提供了 1.1-2.1倍 的专家前向吞吐量，可在 OpenReview 上查看。
• Monkeys 揭示测试时（Test-Time）真相：一篇新的预印本论文 How Do Large Language Monkeys Get Their Power (Laws)? 探讨了语言模型中的 推理（inference） 和 测试时缩放（test-time scaling），特别是成功率如何随每个任务的多次尝试而缩放。
  • 研究发现了一个谜题：每个问题的失败率随尝试次数呈指数级下降，但总成功率却遵循多项式缩放定律，研究将其归因于单次尝试成功概率的 重尾分布（heavy-tailed distribution）。
• 对比集引导方向向量（Steering Vectors）：一名成员建议，让预训练模型从训练数据中挑选出 对比集（contrastive sets） 来构建方向向量，然后控制方向向量的系数，这可能会很有趣。
  • 另一名成员提到了 David Bau 及其团队关于“功能向量（function vectors）”的论文，该研究发现 Attention Heads 传输了所演示任务的紧凑表示。
• EOS Token 阻碍 Harness：一名成员询问在 lm-eval-harness 中为 social_iqa 任务 的数据实例添加 EOS Token 的问题，并指出强制添加后准确率下降了 18 个百分点。
  • 一名成员建议在 此处 为多选题变体向 continuation_enc 添加 self.eot_token_id，并为 BOS 传递 add_bos_token。

Nomic.ai (GPT4All) Discord

• 请求重组聊天列表：一位用户建议根据最近的编辑日期而非创建日期来重组聊天，主张这是一种更相关的列表排序方法。
  • 该用户批评当前基于创建时间的先后顺序有点随意。
• 寻求用于价格提取的轻量级模型：一位成员正在寻找一种专门用于从字符串中提取 price（价格）值的轻量级模型，发现 Regex 解析不足以处理多样化的用户输入。
  • 建议包括研究 Hugging Face 上可用的 embedding models 或具有 extraction（提取）能力的模型。
• GPT4All 陷入沉默：一位成员对 GPT4All 最近缺乏沟通表示质疑。
  • 另一位成员声称 GPT4All 多年来不与普通用户交流，也不接受建议。
• Gemini 2.5 Pro 被推崇用于编程：一位成员推崇 Gemini 2.5 Pro 适用于编程和数学应用，强调其拥有高达 100 万 Token 的上下文窗口。
  • 他们强调其目前可以免费使用，包括其 API。
• GPT4All 的沉寂期引发好奇：一位成员观察到 GPT4All 相对沉默，同时在等待下一个版本以及 Nomic Embed Text V2 的集成。
  • 未分享更多额外信息。

Torchtune Discord

• Packed Datasets 大幅提升速度：一位成员建议使用 packed datasets 以避免 seqlen=49 的 bug，并通过打包句子直到达到 max_seq_len 来提高速度，从而避免浪费 Padding Token。
  • 要启用此功能，用户可以设置 dataset.packed=True 和 tokenizer.mas_seq_len=<your-max_seq_len, 例如 8096>，并利用针对 Attention 的 group masking，详见 PR #2560。
• 分块职责转移：分块（Chunking）的职责正通过 loss = loss_fn(model.weight, logits, labels) 转移到 Loss Function 中，以方便调试。
  • 创建了一个新文件 torchtune.utils._tensor_utils.py，其中包含对 torch.split 的封装并涵盖了单元测试，该文件将需要进行合并。
• NeMo 的弹性训练解决崩溃问题：一位成员参加了“使用 NeMo 进行弹性训练（Resilient Training with NeMo）”会议，并分享了关于 NeMo 如何解决任务崩溃和 GPU 时间浪费原因的见解，强调该主题与 torchtune 非常接近。
  • NeMo 的方法包括 fault tolerance（容错）、straggler detection（掉队检测）、asynchronous checkpointing（异步检查点）、preemption（抢占）、in-process restart（进程内重启）、silent data corruption detection（静默数据损坏检测）以及 local checkpointing（本地检查点）等特性，但部分功能尚未实现。
• AI-2027 报告警告超人类 AI 即将到来：一位成员分享了 AI-2027 报告 的链接，该报告预测 superhuman AI（超人类 AI）在未来十年的影响将是巨大的，超过工业革命。
  • 该报告基于趋势外推、兵棋推演、专家反馈、在 OpenAI 的经验以及之前的预测成功案例。
• CEO 们预测 2027 年将实现超人类 AI：OpenAI、Google DeepMind 和 Anthropic 的 CEO 们认为，AI 可能会在 2027 年超越人类智能。
  • 一位成员询问是否使用了 AI 来编写 AI-2027 网站上滚动更新的实时图表。

tinygrad (George Hotz) Discord

• LeetGPU 对 tinygrad 的支持展望未来：成员们讨论了 leetgpu.com 及其未来对 tinygrad 的潜在支持，但未提供有关时间表或支持范围的具体细节。
  • 一位成员询问了是否有计划扩大消费级 GPU 的可访问性，并提供易用的 API，以便进行本地 tinygrad 开发。
• 华为 Ascend 卡吸引 tinygrad 开发者：一位成员提议提供 Huawei Ascend 卡的使用权限用于开发，George Hotz 对此表示感兴趣，并询问了购买选项或云端机器的可用性。
  • 这可能会将 tinygrad 的硬件支持和优化工作扩展到 Huawei 的架构。
• WEBGPU BEAM 触发调用限制：在使用 BEAM=2 为 WEBGPU 编译 tinygrad 模型时，用户发现需要将 requiredLimits.maxComputeInvocationsPerWorkgroup 增加到 512，这降低了对 Android 设备的支持。
  • 一个 PR 和一个 热修复分支 建议设置 IGNORE_BEAM_CACHE=1 或实现一种通用的限制机制来解决此问题。
• George Hotz 重新实现 tinygrad 版 Karpathy GPT：George Hotz 在“刚开始上手 tinygrad”时重新实现了 Karpathy GPT。
  • 一位在 METAL 上运行该实现的向用户报告了由于 32 buffer 限制 导致的 tinygrad.device.CompileError，并寻求处理该约束的建议，同时链接到了他们的 main.py。

LlamaIndex Discord

• LlamaIndex 支持多模态聊天历史：LlamaIndex 现在支持 多模态聊天历史，使多 Agent 系统能够处理交替的文本和图像消息，详情见 此推文。
  • 更新后的系统利用 ReAct agent loop 促进 Agent 对图像和文本进行推理。
• 研究员寻求 PatentsView API：一位社区成员请求 PatentsView 联系人 提供 API key，以收集用于 RAG 实现的初始数据。
  • 目标是利用 PatentsView API 在 RAG 框架内增强数据检索和分析。
• Workflow 转化为 Tool：一位社区成员提议通过将 Workflow 集成到 FunctionTool 中来将其转化为 Tool。
  • 他们展示了一个代码片段，使用 async def tool_fn(...) 定义工具功能，随后通过 FunctionTool.from_defaults(tool_fn) 创建工具，这允许指定名称、描述、输入注解和返回值。
• LlamaParse 面临图像理解难题：一位用户报告称 LlamaParse 在读取图表/图像时遇到困难，虽然能提取文本但无法解释图像本身，即使使用了 LVM 和高级模式（Premium mode）。
  • 一份澄清回复指出，LlamaParse 无法处理没有可提取文本的图像，但可以将图像作为 artifact 检索出来以便进一步处理，例如提示 LLM 对其进行描述。

Cohere Discord

• AYA Vision 在 waves.jpg 上遇到困难：一位用户报告称，AYA vision 在分析 waves.jpg 图像时返回了 400 错误，提示 不支持的图像文件格式，尽管 AYA 成功分析了其他 JPG 图像。
  • 错误消息指出仅支持 PNG, JPEG, WebP, 和 GIF 格式，这表明特定的 JPG 文件或 AYA 的格式检测可能存在问题。
• AYA Vision Bug 疑似与 Bedrock 有关：一位用户在发生错误时看到了 coco.py: AWS Bedrock Command A，这可能暗示在上传图像时与 AWS Bedrock 有关联。
  • 目前尚不清楚这是 AYA 流水线的一部分，还是图像分析过程中不相关的错误。
• 全栈专家展示技能：一位拥有 8 年以上经验 的全栈开发人员介绍了自己，重点介绍了在 React, Angular, Flutter, Swift, Python, TensorFlow, 和 OpenAI 方面的专业知识。
  • 他们曾参与电子商务、医疗保健和金融科技领域的高影响力项目，集成了 Cloud Technologies, Microservices, 和 DevOps。
• 分析师计划撰写 AI 文章：一位正在求职空窗期的前产品分析师正在探索撰写关于技术和 AI 的文章。
  • 他们正在寻找志同道合的人一起交流，探讨技术如何塑造我们的世界或 AI 的实际用途，感觉自己陷入了信息茧房。
• Web3 专家拥抱 AI：一位在全栈/AI 开发方面拥有 7 年以上经验 的 Web3/AI 工程师 介绍了自己。
  • 他们专注于将 AI 与 Automation 相结合，并渴望以信心和创新帮助企业。

DSPy Discord

• DSPy 即将支持 Asyncio：一位成员询问了为通用 DSPy 调用添加 asyncio 支持的计划。
  • 他们举例说明了从轻量级 DSPy 功能开始，随后扩展到优化的使用场景；在需要 DSPy 功能之前，他们一直使用 litelm，并对未来的支持表示好奇。
• 用于轻量级 DSPy 的 LiteLLM：讨论强调了一种模式，即从类似于使用 LiteLLM 的轻量级 DSPy 功能开始，随着项目的发展过渡到 DSPy 的优化能力。
  • 这表明在轻量级 DSPy 使用与完整的优化工作流之间，可能需要无缝集成或功能对等。

Codeium (Windsurf) Discord

• DeepSeek-V3 升级后性能提升：根据 Windsurf 的公告，DeepSeek-V3 模型已升级至 DeepSeek-V3-0324，在内部测试中表现出更好的性能。
  • Windsurf 团队发布了一个俏皮的请求，希望大家收藏该公告帖子以获取进一步的更新和支持。
• Windsurf 预告 DeepSeek-V3 升级：Windsurf AI 在 X/Twitter 上宣布了 DeepSeek-V3 模型的升级，提到新版本为 DeepSeek-V3-0324。
  • 公告暗示根据内部评估，性能有轻微提升。

Gorilla LLM (Berkeley Function Calling) Discord

• Gorilla LLM 等待进一步测试：一位成员提供了关于 Gorilla LLM 和 Berkeley Function Calling 的协助。
  • 他们确认已准备好根据需要回答问题、进行调整或重新测试。
• 向 robotsail 提供进一步支持：Robotsail 为 Gorilla LLM 和 Berkeley Function Calling 提供了支持。
  • Robotsail 乐意回答任何问题并准备好进行重新测试。

LLM Agents (Berkeley MOOC) Discord 频道没有新消息。如果该频道长期没有活动，请告知我们，我们将将其移除。

MLOps @Chipro Discord 频道没有新消息。如果该频道长期没有活动，请告知我们，我们将将其移除。

AI21 Labs (Jamba) Discord 频道没有新消息。如果该频道长期没有活动，请告知我们，我们将将其移除。

第 2 部分：按频道详细摘要和链接

完整的逐个频道详细分析已针对邮件进行了截断。

如果你想查看完整分析，请访问此邮件的网页版：！

如果你喜欢 AInews，请分享给朋友！预谢！