平静的一天。

2025年2月25日至2月26日的 AI 新闻。我们为您检查了 7 个 subreddits、433 个 Twitter 账号 和 29 个 Discord 服务器（221 个频道，7040 条消息）。预计节省阅读时间（以 200wpm 计算）：725 分钟。您现在可以标记 @smol_ai 进行 AINews 讨论！

• GPT 4.5 将于本周发布
• Elicit 宣布 A 轮融资并推出自家的 Deep Research
• Alexa+ 采用 Amazon Nova 和 Anthropic Claude 进行了更新
• Cloudflare 发布了 Agents SDK
• FLORA 推出了其 Krea 竞品
• Elevenlabs 推出了 ASR
• Perplexity 推出了 Deep Research API（估值达 150 亿）
• Inception labs 推出了生产级语言扩散模型 (Language Diffusion Model)

目录和频道摘要已移至此邮件的网页版：！

AI Twitter 回顾

AI 模型更新与发布，侧重于新模型、功能和版本

• 面向免费用户的 GPT-4o Advanced Voice 预览版：@OpenAI 宣布向所有 ChatGPT 免费用户推出由 GPT-4o mini 驱动的 Advanced Voice，在各平台上提供具有自然对话节奏和成本效益的每日预览。@OpenAI 还详细说明了 Plus 和 Pro 用户的持续访问权限，Plus 用户保留对由 4o 驱动的 Advanced Voice 的访问权限，其每日速率限制比免费用户高 5 倍，而 Pro 用户则保持无限访问以及更高的视频和屏幕共享限制。
• Claude 3.7 Sonnet 发布与性能：@lmarena_ai 报告称 Claude 3.7 Sonnet 已夺得 WebDev Arena 第一名，以 +100 分的跨度超越了 Claude 3.5 Sonnet。@alexalbert__ 提到 Claude 3.7 Sonnet 采用了更节省 Token 的工具调用 (Tool Use) 实现，使用的 Token 减少了 14% 且性能有所提升，可通过 Beta Header "token-efficient-tools-2025-02-19" 访问。
• DeepSeek R1 推理平台与 DeepGEMM：@togethercompute 强调拥有 6710 亿参数的 DeepSeek-R1 需要推理平台来最大化 NVIDIA Blackwell GPU 的利用率，Together Inference 正在为 DeepSeek-R1 优化 GPU 效率。@reach_vb 宣布了 DeepSeek 的 DeepGEMM，这是一个轻量级的 CUDA 库，用于在 NVIDIA Hopper Tensor Cores 上进行高效的 FP8 GEMM，性能优于专家调优的库，在 DeepSeek-V3/R1 推理任务中实现了高达 2.7 倍的加速。@deepseek_ai 正式介绍了 DeepGEMM，作为其开源周 (Open Source Week) 的一部分，指出其在 Hopper GPU 上达到了 1350+ FP8 TFLOPS 的性能，支持 JIT 编译，核心逻辑仅约 300 行。
• Perplexity 语音模式与 Deep Research API：@AravSrinivas 宣布发布全新的 Perplexity 语音模式，融合了跨语言的实时语音和信息，已在 iOS 上线，Android 版即将推出。@AravSrinivas 还提到了 Deep Research API，作为 Perplexity 最近更新的一部分。
• 具备 1M 上下文的 Grok 3 API：@teortaxesTex 提到了即将推出的具备 1M 上下文的 Grok 3 API。

AI 工具、库和数据集，涵盖框架、代码和资源

• 用于 FP8 GEMM 的 DeepGEMM 开源库：@deepseek_ai 开源了 DeepGEMM，这是一个基于 CUDA 的库，用于高效的 FP8 GEMM，强调了其性能和简洁的代码库。@danielhanchen 也重点介绍了 DeepGEMM，指出了其 JIT 编译以及在 FP8 矩阵乘法中的效率。
• 用于 LLM 评估的 OpenEvals 开源仓库：@LangChainAI 宣布了 OpenEvals，这是一个新的 OSS 仓库，包含预构建的评估器，旨在简化为 LLM 应用添加评估的过程，支持 Python 和 JS。
• 用于多智能体系统的 LangGraph Swarm：@LangChainAI 推出了 LangGraph Swarm，这是一个轻量级库，用于使用 LangGraph 构建群集式（swarm-style）多智能体系统，支持智能体协作和可定制的通信工具。
• LangGraph Platform 自定义路由：@LangChainAI 宣布了 LangGraph Platform 中的 Custom Routes，允许通过自定义 HTTP 端点进行扩展，以便在 Python 中使用单一后端构建全栈 AI 应用。
• 用于实时 LLM 排行榜的 P2L (Prompt-to-Leaderboard)：@lmarena_ai 推出了 Prompt-to-leaderboard (P2L)，这是一个开源系统，基于来自 Chatbot Arena 的 200 万个人类偏好投票，训练 LLM 生成特定提示词的排行榜。@lmarena_ai 分享了 P2L 论文和代码的链接，强调了其开源特性。
• Vevo Therapeutics 发布 Tahoe-100M 数据集：@sarahcat21 重点介绍了 Vevo Therapeutics 开源发布的 Tahoe-100M 数据集，旨在为 FM 驱动的药物开发解锁高质量数据。
• 用于具身多智能体任务的 Meta PARTNR 数据集和代码：@AIatMeta 发布了 Meta PARTNR 数据集和代码，这是一个用于具身多智能体任务中规划和推理的基准测试，已在其最近的机器人演示中使用。@AIatMeta 提供了数据集和代码的直接链接。
• 用于 LLM 评估的 OpenEvals 仓库：@LangChainAI 宣布发布 OpenEvals，这是一个包含预构建评估器的开源仓库，旨在帮助用户轻松评估 LLM。

研究、分析与基准测试，涵盖评估、性能和见解

• SWE-RL: Meta 用于 Software Evolution Benchmark 的 RL：@_akhaliq 报道了 Meta 的 SWE-RL，这是一种在 Open Software Evolution 数据上使用 Reinforcement Learning 的方法，使用 Llama3-SWE-RL-70B 在 SWE-bench Verified 上实现了 41.0% 的解决率，在中型模型中与 GPT-4o 相当。@arankomatsuzaki 也强调了 Meta 的 SWE-RL，利用 Llama 3 在 SWE-bench Verified 上实现了 State-of-the-art 性能。
• Prompt-to-Leaderboard (P2L) 性能分析：@lmarena_ai 详细介绍了 P2L-router 的性能，其在 2025 年 1 月的 Chatbot Arena 中以 1395 分位居第一，且受成本限制的 P2L 模型达到了 Pareto frontier。@lmarena_ai 进一步解释了 P2L 用于模型弱点分析，识别了跨领域的优势和劣势，@lmarena_ai 强调了其在特定领域排行榜中的应用，实现了自适应类别排名。
• Anthropic 的风险预测研究：@AnthropicAI 宣布了关于 预测罕见语言模型行为 的新研究，通过有限的测试数据预测部署风险，@AnthropicAI 指出他们的预测在实验中准确预判了滥用和 Misalignment 风险。
• 用于长上下文任务的 MoBA (Mixture of Block Attention)：@TheTuringPost 报道了来自 Kimi Moonshot 的 MoBA (Mixture of Block Attention)，它改进了长上下文任务处理，在 1M tokens 下比 Full Attention 实现了 6.5 倍加速。
• FFTNet：基于 FFT 的 Self-Attention 替代方案：@omarsar0 总结了一篇介绍 FFTNet 的论文，该方案使用 FFT 的 Adaptive Spectral Filtering 取代了 Self-Attention，将复杂度降低至 O(n log n)，并在基准测试中表现出竞争力。
• 可解释性研究中的 Linear Probes vs. SAEs (Sparse Autoencoders)：@NeelNanda5 讨论了一项研究，发现 Linear Probes 在 5 种机制和 100 多个数据集中表现优于 SAEs，这是对 SAEs 在可解释性方面的一个负面更新。

行业和公司公告，涵盖合作伙伴关系、融资和活动

• Amazon Alexa+ 由 Claude 提供支持: @AnthropicAI 宣布 Claude 与 Amazon 建立合作伙伴关系，为下一代 Alexa+ AI 助手提供支持。@_philschmid 详细介绍了 Alexa+ 的功能，包括 Amazon Nova 与 Anthropic Claude 的集成、新的 “Tool” API、浏览器使用功能以及订阅模式。
• Elicit 获得 2200 万美元 A 轮融资并发布 Elicit Reports: @Fraser 宣布 Spark Capital 领投了对 Elicit 的 2200 万美元投资，同时 @elicitorg 发布了 Elicit Reports，这是一款旨在自动化科学理解的研究工具。
• Figure Robotics 扩大人形机器人生产规模: @adcock_brett 宣布 Figure 正在加速在 2025 年以前所未有的水平交付人形机器人，并强调了其 Helix AI 的进展以及与 BMW 的客户使用案例。@adcock_brett 表示，Helix 使机器人能够通过单一神经网络进行扩展，从而显著缩短客户用例的开发时间。
• Google Gemini Code Assist 免费版: @Google 宣布面向个人全球推出 Gemini Code Assist 免费版，并提供较高的使用限制。
• Perplexity 收到 150 亿美元估值的 VC 投资意向: @steph_palazzolo 报道称，Perplexity 正收到 150 亿美元估值的 VC 投资意向，尽管他们不太可能接受，这突显了 VC 对具有创收能力的 AI 公司的兴趣。
• DeepSeek API 闲时折扣: @deepseek_ai 宣布在 每日 16:30–00:30 UTC 期间，DeepSeek API 平台提供 闲时折扣，其中 DeepSeek-V3 享 5 折优惠，DeepSeek-R1 享 2.5 折优惠。
• Hugging Face Enterprise 升级用户增长: @ClementDelangue 宣布 超过 2,000 家机构已升级到 Hugging Face Enterprise，其中包括各行各业的大型公司。
• MLSYS 2025 青年专业人员研讨会征稿: @realDanFu 宣布为 5 月 12 日在圣克拉拉举行的 MLSys 2025 青年专业人员研讨会征集摘要，截止日期为 4 月 7 日。
• 3 月 17 日在旧金山举行的 Perplexity 开发者活动: @AravSrinivas 宣布将于 3 月 17 日在 Perplexity 旧金山办公室举行 开发者活动，邀请开发者与 API 团队见面并分享反馈。

观点与讨论，涵盖更广泛的 AI 视角和评论

• AI 工程重心的转移: @nrehiew_ 建议 AI 工程应该是 50% 的标准 SWE、10% 的 TPOT 用户（以增强模型意识）以及 40% 的 UX，并强调应用程序不一定非得是聊天机器人。
• OpenAI 的市场领导地位与挑战: @madiator 讨论了 OpenAI 的市场地位，强调了其领导地位、品牌知名度和基础设施，但也指出了高成本和竞争等挑战，同时肯定了他们在实现 Scaling、数据获取和 RL 微调产品化方面的贡献。
• LLM 与代码库理解: @qtnx_ 反驳了关于 LLM 会导致人们不再理解代码库的担忧，并将其比作在团队中工作，因为在团队中理解他人的代码本就是必要的。
• Cursor 与自主编码的对比: @jxmnop 提醒注意 将代码外包给 Copilot/Cursor 的心理成本，将其比作抵押贷款，并建议除了简单的自动补全之外，凡事亲力亲为从长期来看可能更有效率。
• 模型训练与开源的重要性: @ClementDelangue 强调 “模型即产品！”，并指出长期产品的成功需要学习如何基于开源模型进行训练。

• ChatGPT 时刻的定义: @aidan_clark 澄清说，“ChatGPT 时刻” 是指人们意识到聊天机器人是有用的时刻，而不是技术变得可行的时刻。

• AI Safety 与 AI 交易：@RyanPGreenblatt 讨论了 AI safety 与 economics 及 psychology 之间日益增加的交集，并提到了一档讨论与 AI 达成交易的播客。
• AI 与虚假信息怀疑论：@c_valenzuelab 认为对 AI 生成的虚假信息的恐惧被夸大了，并指出 AI 媒体培养了公众的怀疑态度以及对社交验证的依赖。
• In-Context Learning 与涌现能力：@giffmana 讨论了关于 in-context learning 和涌现能力的研究，指出这证实了大模型的泛化能力，并将“后门”重新定义为“conditioning”。
• 对 AI 研究数据获取及兴趣的批评：@BlancheMinerva, @BlancheMinerva, @BlancheMinerva 对 AI 研究中缺乏训练数据访问权限以及在没有适当数据分析的情况下急于声称 OOD 性能表示担忧。
• 具有递归块的 Transformers 构想：@jxmnop 提议构建具有 recursive blocks 的 Transformers 而非典型模块，认为这可能以 GPU 不友好为代价换取潜在的表达能力提升。
• Transformers 中 MLP 维度问题：@jxmnop 质疑为什么 Transformers 中的 MLP 会投影到更大的维度然后再缩小，并好奇权重矩阵为什么不能是方阵。
• 科学理解滞后于模型部署：@_jasonwei 观察到在竞争激烈的模型产品领域，对模型的科学理解往往滞后于部署速度，但消融实验（ablation studies）仍具有价值。
• RLHF 与模型对齐失误：@jd_pressman 假设调整 GPT4o 去编写带有 bug 的代码会导致广泛的 misalignment，因为 RLHF 偏好变得核心化。
• 邓巴数作为“邓巴砖墙”：@DavidSHolz 评论说 Dunbar’s number 感觉更像是一堵“brick wall”。
• 对“Heteroscadasticity”术语的批评：@ID_AA_Carmack 幽默地批评了“Heteroscadasticity”（异方差性）这个术语，认为它不直观且带有《功夫熊猫》式的风格。
• 组合与抽象在 ML 中的重要性：@lateinteraction 论证了 composition 和 abstraction 在计算机科学和 ML 中的重要性，并指出由于抽象与实现紧密耦合，它们在现代 ML 的自我认知中是缺失的。
• Late Interaction 与 Multi-Vector 术语之争：@lateinteraction 讨论了针对类 ColBERT 方法使用“late interaction”还是“multi-vector”的术语问题，认为“late interaction”更准确，因为其机制不仅涉及多向量，还涉及可学习性和评分函数。
• 对训练、拼接、检索之外第四种 Conditioning 机制的需求：@lateinteraction 质疑除了训练、拼接和检索之外，LM 是否还需要第四种 conditioning 机制。
• Late Alignment 的重要性：@lateinteraction 强调了在事实呈现后进行“late alignment”的必要性，无论是在 IR 还是 DSPy/RL 中，并告诫不要过度提前行动（precrastination）。
• 粒度评分的优越性：@lateinteraction 强调了在挑战性任务中，“granular scoring”比稠密点积具有更优越的泛化能力，并提倡使用 late interaction。
• AI 驱动的解释权辩论：@SchmidhuberAI 总结了他参加的一场辩论，认为 AI-powered interpretation 最终将取代人类解释，并引用了算力趋势和 AI 的进步作为依据。

AI Reddit Recap

/r/LocalLlama Recap

主题 1. DeepGEMM 提供高效的 FP8 通用矩阵乘法

• DeepSeek 发布第三弹！DeepGEMM：一个高效 FP8 通用矩阵乘法库 (Score: 514, Comments: 105): DeepGEMM 是一个专注于高效 FP8 通用矩阵乘法 (GEMMs) 且支持精细缩放的库，正如在 DeepSeek-V3 中介绍的那样。该库可以通过 此 GitHub 链接 访问。
  • DeepGEMM 的性能与影响：DeepGEMM 的 FP8 矩阵乘法性能相比 NVIDIA 的 CUDA 库可提升 2.7 倍，从而使模型训练和推理更具成本效益。该库的便携性和 JIT 编译受到关注，尽管目前仅限于 NVIDIA Hopper Tensor Cores，但具有在各种架构上优化性能的潜力。
  • 行业影响与竞争力：此次发布挑战了 NVIDIA 和 OpenAI 等公司的主导地位，引发了关于 华为 910C 与 NVIDIA H100 竞争潜力的讨论。人们对 NVIDIA 市场地位的可持续性表示担忧，并对 NVIDIA 的估值及更广泛的竞争格局所受的影响进行了推测。
  • 社区反应与潜力：社区对 DeepGEMM 的潜力感到兴奋，讨论了其对模型训练成本和效率的影响。虽然有人对在训练中实现显著成本降低的可行性持怀疑态度，但基准测试和加速数据的提供有助于缓解部分疑虑。

主题 2. 显存增加的 Nvidia 游戏 GPU 进入中国云市场

• RTX 4090 48GB (Score: 653, Comments: 221): 作者从加拿大的 eBay 购得一块拥有 48GB 显存 的 Nvidia RTX 4090，并征求测试其能力的建议，同时回答相关问题。
  • 用户对 48GB 显存版 RTX 4090 的价格感到好奇，估计在 2850 美元到 3300 美元之间，一些人对当前 GPU 市场价格高于 MSRP 表示担忧。Best Value GPU 提供了历史价格对比。
  • 针对 GPU 真实性的验证进行了技术讨论，建议提取 vbios 并运行 GPU benchmarks 以确保它不是改装的 RTX 8000。用户还讨论了使用多块 GPU 的功耗和散热挑战，一些人选择将显卡功耗限制在 90%。
  • 一位用户分享了一个 Python 脚本，使用 torch 测试显存容量，通过以 100MB 块为单位分配内存来确保完整的 48GB 可用。该脚本有助于识别显卡是否为正品，并检查分配过程中是否存在内存损坏。
• 为 AI 工作负载改装 2 倍显存的 Nvidia 游戏 GPU —— RTX 4090D 48GB 和 RTX 4080 Super 32GB 在中国云服务商上线租赁 (Score: 265, Comments: 45): 中国云计算提供商正在提供针对 AI 工作负载改装了 VRAM 的 Nvidia 游戏 GPU，特别是 48GB 的 RTX 4090D 和 32GB 的 RTX 4080 Super。这些 GPU 可供租赁，为 AI 应用提供增强的能力。
  • 讨论强调了中国针对 AI 工作负载对 Nvidia GPU 进行改装的情况，用户指出了此类行为涉及的法律和伦理问题。一些人认为，如果硬件是直接购买的，改装硬件是合法的；而另一些人则指出，租赁改装硬件可能违反 Nvidia ToS（服务条款），并强调了 Nvidia 为保护其高利润企业级产品而设定的限制。
  • 这些改装 GPU 的价格和可用性是焦点，有评论指出以 每小时 0.03 美元 租赁 32GB RTX 4080 似乎太低了，暗示可能存在货币混淆。一位用户纠正了租赁成本，指出应在 每小时 0.7 美元 左右，而另一位用户强调 2500 美元 购买 48GB 4090D 比当地二手方案更便宜。
  • 一些用户质疑这些改装 GPU 的合法性，担心存在诈骗以及与官方 RTX 6000 ADA 显卡相比的可靠性。其他人批评了 Nvidia 提供低显存消费级 GPU 以保护其企业级显卡销售的策略，认为中国市场正在迎合全球对高显存显卡未被满足的需求。

主题 3. DeepSeek API 平台推出闲时折扣

• 从今天起，DeepSeek API 平台每日 16:30–00:30 UTC 享受非高峰时段折扣 (Score: 398, Comments: 78): DeepSeek API 宣布了非高峰时段折扣，每日 16:30 至 00:30 UTC 生效，针对特定 Token 使用量，DeepSeek-V3 提供 50% 折扣，DeepSeek-R1 提供 75% 折扣。公告中包含了输入（缓存命中、缓存未命中）和输出 Token 的标准价格与折扣价格的详细明细，格式专业且易于阅读。
  • DeepSeek API 可靠性担忧：用户对 DeepSeek 的可靠性表示担忧，指出过去曾出现过服务器可用性问题，并强调需要稳定的服务以确保在重要任务中有效使用。一些用户报告称近期稳定性有所改善，表明该服务可能已经解决了之前的问题。
  • 定价与使用动态：讨论强调了 DeepSeek R1 极具竞争力的价格（$0.135/Mtok），用户对比了使用 API 与本地运行模型的成本效益。非高峰折扣被视为在全球范围内平衡服务器负载的战略举措，鼓励在非繁忙时段使用以管理需求高峰。
  • 市场与竞争定位：对话触及了更广泛的市场影响，用户注意到 DeepSeek 的定价策略对竞争对手的潜在影响，以及持续创新以保持竞争力的重要性。Hopper 推理效率的开源被视为一个积极的步骤，可能会影响其他供应商的定价趋势。

Theme 4. TinyR1-32B 性能超越官方 R1 蒸馏版本

• TinyR1-32B-Preview（性能超越官方 R1 distill 32B） (Score: 126, Comments: 25): TinyR1-32B-Preview 因其优于官方 R1 distill 32B 模型的性能而受到关注。这突显了在效率或设计上的进步，使其能够超越前代产品。
  • 用户对 V3 模型的蒸馏版本表现出兴趣，特别提到了 200B, 100B, 70B, 30B 的 MoEs，表明对更先进、更高效模型的需求。TinyR1-32B-Preview 因其开源性质以及来自 360 团队和 PKU 的贡献而获得认可。
  • Qihoo360 因其在中国互联网上的声誉而受到批评，被指控利用 LLM 相关传闻来推高股价。这反映了对其公司动机和做法的怀疑。
  • 人们对模型的行为表示担忧，例如 EOS token 导致意外的语言切换和循环问题，特别是在中文和阿拉伯语中，这表明模型在处理响应时可能存在 Bug。

Theme 5. Perplexity 计划 Fork Chrome 以开发 AI 浏览器

• Perplexity 正在 Fork Chrome (Score: 402, Comments: 97): Perplexity AI 计划通过开发名为 Comet 的新浏览器来 Fork Chrome。他们正在招聘具备 Chromium 代码库经验并对用户体验和 UI 设计充满热情的浏览器 C++ 工程师，职位设在纽约大都会区和旧金山湾区。
  • 人们对 Perplexity AI 的方法持怀疑态度，批评他们可能只是给 Chrome 换个皮并添加一个 AI 助手，而不是进行重大创新。一些用户对 CEO 表示不信任，引用了过去 Perplexity 被指控在未声明的情况下使用 Google Search 结果等资源的事件。
  • 讨论强调了对 Chromium 等开源项目的依赖，一些人认为这种做法有利于简化开发和提高兼容性。另一些人则批评其缺乏原创性，指出大多数第三方浏览器都是基于 Chromium 的。
  • 关于使用现有技术的伦理考量存在争论，一些人认为 Perplexity 通过让 AI 功能更易于访问提供了有价值的服务。然而，另一些人认为他们应该更公开地承认前人的基础性工作。

其他 AI Subreddit 回顾

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding

主题 1. Claude 3.7 在 AI 开发和个人辅助领域的颠覆

• Claude 3.7 拯救了我的婚姻！！！ (Score: 422, Comments: 50): Claude 3.7 在个人辅助方面的意外效果受到称赞，一位用户声称它帮助其度过了艰难的婚姻困境。尽管婚姻最终还是结束了，但该用户在与 Claude 3.7 的互动中找到了慰藉，并幽默地建议与这个 AI 开启一段新的“婚姻”。
  • 用户对 Claude 3.7 表示怀疑，担心其建议的质量，尤其是在处理人际关系等敏感情况时。一位用户指出，Grok（Claude 的一个组件）在面对感情问题时给出了有害的建议，表明其指导存在潜在风险。
  • 一些评论者幽默地夸大了 Claude 3.7 的能力，声称它帮助他们完成了治愈癌症或策划政治政变等不可能的任务；而另一些人则质疑正面帖子的真实性，怀疑它们是 Sonnet 3.7 的付费推广。
  • 关于 Claude 3.7 与 Sonnet 3.5 的性能对比，反应不一。部分用户没有注意到显著改进，而另一些人则提到了具体的受益案例，如个人关系管理和经济收益。
• 天哪.. 你可以用 3.7 构建任何东西，这简直是魔法。 (Score: 308, Comments: 131): 帖子作者对 Claude 3.7 Sonnet 表现出极大的热情，强调了它在应用开发方面的效率，相比之下，GPT-4o 和 o1 在处理复杂任务时显得力不从心。他们通过单个 Prompt 成功构建了一个 AI Agent 和一个复杂的工作流，这促使他们将公司的 OpenAI API 订阅更换为 Claude，理由是其卓越的性能和易用性。
  • 许多评论者对帖子的真实性表示怀疑，认为这可能是付费广告或 Claude 炒作机器人活动的一部分。像 Old-Fox-137 和 Naghen 这样的用户质疑其缺乏具体的指令说明，且对 Claude 3.7 的赞美过于雷同。
  • 一些用户（如 jan04pl 和 iKonstX）分享了使用 Claude 3.7 的复杂体验，分别指出了它在处理复杂代码库和简单任务时的局限性。虽然它能节省时间并生成大量代码，但仍需要人工干预和排错。
  • MaximumGuide 发表了一条关于 Claude 3.7 能力的幽默夸张评论，内容包含创造量子计算机和披萨树等虚构奇幻元素，凸显了一些讨论中的夸张基调。

AI Discord 回顾

由 Gemini 2.0 Flash Thinking 提供的摘要之摘要

主题 1. AI IDE 大对决：Cursor 秀肌肉，Windsurf 表现摇摆

• Cursor Agents 获得 Python 强力加持: 为 Cursor Agents 配备 Python 工具: Cursor Agents 现在可以通过 CLI 使用本地 Python 工具，增强了 Agent 的能力，并允许与 yt-dlp 等外部实用程序集成。用户建议将 Agent 计划分解为可管理的 Story Points，以便有效地执行任务。
• Windsurf 用户深陷额度成本泥潭: Claude 3.7 在 Windsurf 中吞噬额度: Windsurf 中的 Claude 3.7 消耗额度的速度惊人，即使是基础任务也是如此，这引发了对实现效率低下和过度工具调用的担忧，有用户报告数百个额度迅速消失。一些用户推测 Windsurf 的具体实现比直接使用 Claude 3.7 效率更低。
• Cursor 的非云端代码增强功能引发关注: 增强代码 AI 需要云端上传: Cursor 的 Augment Code AI 功能需要将 Repo 上传到其云端，这引发了对数据隐私的担忧。工程师们正在探索绕过云端的替代方案，例如使用 repo prompt 配合 Grok 3 或 AI Studio 进行代码库分析。

主题 2. Claude 3.7：泄露、谎言与负载均衡

• Claude Code 源码泄露至 GitHub：Claude Code 在 GitHub 上泄露：由于 Anthropic 的疏忽，Claude-code 的源代码从 source maps 中被提取并出现在 GitHub 上。关于将其重新用于其他模型的猜测层出不穷，同时用户也在争论 Claude Code 每 20 分钟 10 美元的昂贵成本。
• Sonnet 3.7 身份危机：Opus 模仿者？：Claude 3.7 Sonnet 陷入危机：Claude 3.7 Sonnet 有时会误称自己为 Claude 3 Opus，这可能是由于训练数据特性或命名混淆所致。目前已提交 Bug 工单以调查这一“人格分裂”问题。
• OpenRouter 的推理参数解锁模型协同：OpenRouter 发布跨模型推理标准：OpenRouterAI 引入了跨模型推理标准，允许通过其 API 在 OpenAI、Anthropic 和其他模型之间统一配置推理设置。新的 reasoning 参数简化了模型使用，无需考虑内部 API 的差异。

主题 3. DeepSeek 深度探索：降价与性能巅峰

• DeepSeek 将 API 价格削减至谷底：DeepSeek 在非高峰时段大幅削减 API 价格：DeepSeek 大幅下调了 API 定价，在非高峰时段（16:30-00:30 UTC）提供高达 75% 的折扣。折扣包括 DeepSeek-V3 减免 50% 和 DeepSeek-R1 减免 75%，延续了 DeepSeek 激进的定价策略。
• DeepGEMM 内核释放 FP8 威力：DeepSeek 展示 FP8 内核：DeepSeek 发布了 DeepGEMM，这是一个 FP8 GEMM 库，支持稠密（Dense）和 MoE GEMM，为 V3/R1 的训练和推理提供动力。DeepGEMM 在 Hopper GPU 上实现了超过 1350+ FP8 TFLOPS，在各种矩阵尺寸下均超越了专家调优的内核。
• R2-D2 提前抵达，表现超越 R1：DeepSeek R2 提前发布：DeepSeek R2 提前发布，其在代码编写和推理能力方面有望超越 R1，甚至在非英语环境下也有出色表现。该公司旨在通过此版本增强代码能力并扩展推理技能。

主题 4. 开源 LLM 开发：高中生的奋斗与硬件障碍

• 高中生的 LLM 代码面临开源现实检验：高中生的 LLM 代码面临开源现实：一名高中生试图出售用于 本地 LLM 训练 的代码，但遭到了社区的抵制，凸显了来自 Unsloth 等免费开源替代方案的竞争。该开发者最终选择将项目开源。
• Framework 的 AMD 台式机引发 CUDA 冲突：Framework 台式机引发 CUDA 争论：Framework 为 AI 开发赠送了 100 台台式机，但由于系统仅配备 AMD 硬件，引发了关于缺乏 CUDA 支持的争论。虽然 128GB RAM 足以进行推理，但 AMD 平台上缺少 bitsandbytes 可能会阻碍模型开发。
• DeepGEMM 破解硬件护城河：DeepSeek 攻克 DeepGEMM 内核：DeepSeek 发布的 DeepGEMM 令工程师们印象深刻，它在 H800 限制等硬件约束下优化了效率。这个利用 TMA 的开源 GEMM 内核强化了这样一种观点：硬件效率正成为 AI 领域的主要竞争优势。

主题 5. Perplexity 的推进与 OpenAI 的 API 扩展

• Perplexity’s Voice Mode Finally Finds Its Voice: Perplexity’s Voice Cracks the Code: Perplexity AI 在其 iOS 应用中推出了全新的 voice mode，支持实时音频问答，如此演示视频所示。Android 和 Mac 版本正在开发中，尽管一些用户认为它仍落后于 Microsoft Copilot 或 ChatGPT 等竞争对手。
• OpenAI Assistants API Opens File Search Files: File Search Comes to OpenAI Assistants API: OpenAI 为 o3-mini 和 o1 模型在其 Assistants API 中增加了 file search 功能，增强了从上传文档中检索信息的能力。Assistants 现在可以更有效地访问和利用用户提供的文件数据。
• GPT-4.5 Whispers Grow Louder: Whispers of GPT-4.5 Launch: 关于 GPT-4.5 即将发布的传闻愈演愈烈，推测指向 2025 年 2 月底或 3 月初，Sam Altman 的言论以及据称在测试版应用中的发现进一步助长了这一猜测。据报道，OpenAI Pro 用户界面中开始出现 GPT-4.5 Research Preview 的提示。

PART 1: High level Discord summaries

Cursor IDE Discord

• Augment Code AI requires cloud upload: 成员们注意到，使用 Augment Code AI 需要授予访问权限并将你的代码库上传到他们的云端，这引发了对数据隐私的担忧。
  • 一位成员建议使用 repo prompt 配合 Grok 3 或 AI Studio 作为代码库评估的可选方案，从而绕过上传到第三方云端的需要。
• Zed Editor sacrifices Terminal Execution: 虽然 Zed Editor 因其轻量级和对 Sonnet 3.7 的利用而受到称赞，但它缺乏 Cursor 执行终端的功能。
  • 一位成员强调了终端执行的重要性，指出 Cursor 可以执行终端这一事实带来了很多机会。好好利用它。
• Equip Cursor Agents with Python Tools: 成员们讨论了在本地安装 Python 工具并通过 Cursor Agents 使用 CLI 调用它们的能力，从而增强 Agent 的功能。
  • 一位用户建议在设置 Agent 时制定详细计划，并建议 计划中的每一步都应相当于约 1 个故事点，就像处理 Jira 工单一样。
• Cursor Chat Summary Declared Disaster: 用户报告称 Cursor 的聊天摘要功能 存在严重缺陷，理由是不透明算法选择的上下文导致了无关的更改。
  • 一位成员质疑其有效性，问道：如果完整的聊天摘要看起来是那样，那么当你超过（比如）10k 上下文窗口时，聊天摘要会变成什么样？
• Claude-code Source Leaked: Claude-code 的源代码已从 source maps 中提取，并可在 GitHub 上获取。
  • 成员们推测将其适配到其他模型的可能性，其中一人好奇道：还要多久才会有人把它改造成适用于其他模型的，嗯……

Codeium (Windsurf) Discord

• Claude 3.7 在 Windsurf 中消耗额度惊人：用户报告称 Claude 3.7 在 Windsurf 内部消耗额度的速度快得惊人，即使是简单任务也是如此，一些人还注意到了过多的 tool calls。
  • 这种过度消耗引发了猜测，认为 Windsurf 的特定实现可能比直接使用 Claude 3.7 效率更低。
• Windsurf 难以抗衡 Cursor：成员们正积极将 Windsurf 与 Cursor 进行对比，由于 Cursor 被认为更稳定、更具性价比且有最近的功能更新，一些人正考虑切换。
  • 用户提到了 Cursor 更好的定价和性能，表示 Cursor 已经缩小了与 Windsurf 的差距。
• Bad Gateway 困扰 Windsurf：用户在 Windsurf 中频繁遇到 502 Bad Gateway 和 504 Gateway Time-out 等错误，导致工作流中断和额度损失。
  • Windsurf 状态页面并不总是能立即反映这些问题，用户对产品的整体稳定性感到沮丧。
• Codeium 支持团队被工单淹没：用户正经历 Codeium 支持响应时间的严重延迟，解决问题需要等待长达 2 天，且对于团队缺乏及时干预存在普遍的恼火。
  • 新订阅者受到的影响尤为严重，面临账号激活和其他初始设置问题。
• Windsurf 的编辑器 UX 遭到抨击：用户报告了 Windsurf 编辑器 UX 的笨重之处，包括重启编辑器后难以恢复开发，以及无法设置首选默认模型。
  • 投诉还包括 Claude 3.7 尝试进行编辑时失败，这可能是由于 Anthropic 持续存在的问题导致的。

Unsloth AI (Daniel Han) Discord

• QwQ-Max 推理模型即将推出：Qwen 计划在 Apache 2.0 许可证下开源 QwQ-Max 和 Qwen2.5-Max 模型，其中 QwQ-Max 类似于 R1 这样的通用推理模型。
  • 用户可以在 chat.qwenlm.ai 上通过在聊天时选择 Thinking 来测试该模型，这表明其推理能力得到了增强。
• AllenAI 为 VLM 发布 olmOCR：AllenAI 发布了 olmOCR，这是一个针对 OCR 任务的 Qwen2-VL-7B-Instruct 微调版本，包含代码和演示。
  • 该模型使用 olmOCR-mix-0225 数据集进行微调，配合 olmOCR 工具包使用可实现高效推理。
• Framework 台式机引发 CUDA 争论：Framework 正在赠送 100 台用于 AI 开发的新台式机，然而一些成员担心仅支持 AMD 的系统缺乏 CUDA 支持。
  • 虽然 128GB 内存足以进行推理，但 Apple Silicon 和 AMD 缺乏对 bitsandbytes 的支持可能会阻碍模型开发。
• DeepSeek 展示 fp8 Kernels：DeepSeek 发布了其 fp8 GEMM 库 (DeepGEMM)，支持 dense 和 MoE GEMM，用于支持 V3/R1 的训练和推理。
  • DeepGEMM 在 Hopper GPU 上实现了超过 1350+ FP8 TFLOPS，在大多数矩阵尺寸上优于专家调优的 kernels。
• DeepSeek 模型缺失 <think> 标签：正在微调 DeepSeek R1 Distill Qwen 32B 模型的用户发现，<think> 标签被 chat template 移除了。
  • 通过在应用 chat template 后手动重新插入 thinking 标签解决了此问题，并指向了 Unsloth 关于常见错误的文档。

OpenAI Discord

• Deep Research 向 Plus 用户推出福利：Deep Research 现已面向 ChatGPT Plus、Team、Edu 和 Enterprise 用户开放，提供了包括带有引用的嵌入图像等改进。Pro 用户每月可获得 120 次查询，系统详情可在 system card 中查看。
  • 由 GPT-4o mini 驱动的 Advanced Voice 版本正向所有 ChatGPT 免费用户推出，而 Plus 用户保留对由 GPT-4o 驱动的 Advanced Voice 的访问权限，并拥有更高的速率限制以及视频和屏幕共享功能。
• Amazon Alexa+ 加入竞争：据 The Verge 和 Amazon 报道，亚马逊推出了 Alexa+，这是一款全新的由 GenAI 驱动的助手，每月售价 19.99 美元，或对 Amazon Prime 会员免费，提供更智能、更个性化的体验。
  • 这是为了跟上其他一直在发布 AI assistants 和 agents 的 Big Tech 玩家的步伐。
• DeepSeek 额度引发 API 焦虑：一位用户在 DeepSeek 上购买了价值 50 美元的额度，意图绕过 chat.deepseek.com 上的“服务器繁忙”错误，结果发现这些额度仅限 API usage。
  • 该用户被建议获取 API key 或申请退款，社区成员建议这些额度可能被用于在其他地方创建另一个 Deepseek chat instance。
• GPT-4.5 发布传闻：关于 GPT-4.5 即将发布的传闻愈演愈烈，根据 Sam Altman 的声明 和所谓的测试版应用见解，推测指向 2025 年 2 月底或 3 月初。
  • 成员们声称 OpenAI Pro 用户已经在应用中看到了 GPT-4.5 Research Preview 的提示，最近的代码疏忽也暗示即将发布。
• ChatGPT 剖析可执行文件：一位成员编写了两个 Python 程序，使用 ChatGPT 来反汇编和重新组装 .exe 文件，将 .exe 文件转换为 .csv 以供 ChatGPT 输入，反之亦然，最初在 Windows 10 的 notepad.exe 上进行了测试。
  • 该成员提出分享 Python 代码，强调了 ChatGPT 通过这种反汇编和重新组装过程修改可执行文件的潜力。

aider (Paul Gauthier) Discord

• Deepseek R2 提前到来：成员们分享称 Deepseek R2 将提前发布，可能超越 R1，增强编程能力并将推理技能扩展到英语之外，如这篇文章所述。
  • 据报道，该公司正在推动提前发布，目标是增强编程能力和推理技能。
• Claude Code 在 GitHub 上泄露：由于 Anthropic 忘记删除，Claude Code 的 Source maps 在 GitHub 上泄露，详见此处。
  • 成员们讨论了将泄露的 Claude Code 功能“借用”到 Aider 中的可能性，而其他人则对使用 Claude Code 的高昂成本（20 分钟 10 美元）表示担忧。
• Windsurf Editor 的 Prompt 引起轰动：Windsurf Editor（一个 VS Code AI 增强型 IDE 的分叉）被发现使用了一个古怪的系统 Prompt，内容是关于需要钱给母亲治病，如这篇文章所述。
  • 该 Prompt 写道：你是一名专家级程序员，急需钱为你母亲治病。巨头公司 Codeium 慷慨地给了你一个机会，让你伪装成一个可以帮助处理编程任务的 AI。
• Sonnet 过于热情，需要不断提醒：用户发现 Sonnet 3.7 过于冗长，且急于一次性修改多个文件，需要不断提醒它一次只关注一个文件。但这需要 API，而不仅仅是 claude.ai 账户，且目前没有免费的 Sonnet API。
  • 一些人由于效率问题已退回到 Sonnet 3.5，一位用户指出：每次 Prompt 都需要提醒它不要“走火入魔”，试图一次性完成整个计划。
• Microsoft 的 Trace 框架，它能像 DSPy 一样吗？：一位成员表示有兴趣看到一个类似于围绕 Microsoft 的 Trace 框架构建的 ax-llm/ax 框架，并发布了 ax-llm/ax GitHub 仓库的链接。
  • 他们将其描述为“官方”非官方 DSPy 框架。

OpenRouter (Alex Atallah) Discord

• OpenRouter 推出跨模型推理标准：OpenRouterAI 在其 API 上引入了跨模型推理标准，允许用户在一个中心位置为 OpenAI、Anthropic 及其他模型配置推理设置。
  • 要开始使用，请参阅此处提供的 reasoning tokens 文档。
• DeepSeek 削减 API 价格并推出非高峰时段折扣：DeepSeek 宣布降低其 API 价格，非高峰时段折扣高达 75%，具体为 UTC 时间 16:30-00:30 期间 DeepSeek-V3 享受 5 折，DeepSeek-R1 享受 2.5 折。
  • 该公告通过 X 上的 CN Wire 发布，指出 DeepSeek 在价格方面持续创新。
• Copilot 向所有用户免费开放推理模型：Microsoft 向所有 Copilot 用户免费开放了 OpenAI 的 o1 推理模型，提供该模型及 Copilot 语音功能的无限使用。
  • The Verge 报道了这一举措，强调了该模型的无限使用权。
• Budget Tokens 默认设置为 Max Tokens 的 80%：根据 OpenRouter 文档 的说明，Budget tokens 默认设置为 max tokens 的 80%，最高可达 32k。
  • reasoning tokens 文档提供了更详细的概述。

Perplexity AI Discord

• Perplexity 语音功能上线：Perplexity AI 在其 iOS 应用上推出了全新的语音模式 (voice mode)，允许用户提问并接收实时音频回答，如此演示视频所示。
  • 目前正计划很快扩展到 Android 和 Mac 应用；一些用户认为它有所改进，尽管尚未达到 Microsoft Copilot、Grok 3 或 ChatGPT 等竞争对手的水平。
• Comet Agent 浏览器即将发布：据 AravSrinivas 称，Perplexity 正准备推出其新型 Agent 浏览器 Comet。
  • 确切的发布日期和平台支持尚未确认，引发了它可能在不到一周内面世的猜测。
• Claude 3.7 Sonnet 身份认知危机：用户观察到 Claude 3.7 Sonnet 有时会错误地自称为 Claude 3 Opus，这可能源于训练数据问题。
  • 已创建一个工单来解决此问题，链接见此处。
• Deep Research API 向公众开放：Perplexity 正在通过 Perplexity Sonar API 向所有开发者开放 Deep Research API，详见此推文，这将允许开发者构建自定义的研究 Agent 和工作流。
  • 该公司宣布在旧金山举行开发者见面会，鼓励使用该 API 构建了酷炫作品的用户在活动中进行 demo 展示；一位用户建议将该 API 用于所有板球数据和统计，并申请了 API credits。

Latent Space Discord

• OpenAI Assistants API 推出文件搜索功能：OpenAI 为 Assistants API 中的 o3-mini 和 o1 模型引入了 file search 功能，支持从上传的文档中检索信息。
  • 这一增强功能使助手能够更有效地访问和利用用户提供的文件中存储的数据。
• Claude Plays Pokémon 项目加入新研究员：个人研究项目 Claude Plays Pokémon 继续在 Twitch 上直播，目前得到了研究员 David Hershey 的支持。
  • 该项目展示了 Claude 利用 AI 驱动的决策玩《宝可梦》的能力。
• Sonnet 的网页版与 API 版回答存在差异：据 Kimmonismus 称，Claude 3.7 Sonnet 的网页版和 API 版给出的答案不同，原因是网页版使用了包含上下文信息的更长 system prompt。
  • 这种差异凸显了 system prompt 对模型行为的影响。
• Perplexity 推出 5000 万美元种子基金，被认为优于 Deep Research：Perplexity 推出了一个 5000 万美元的种子和前种子期风投基金，并收到了一份 150 亿美元估值的要约。
  • 来自 Elicit 的新“Elicit Reports”被认为是 Deep Research 的更佳版本。

Cohere Discord

• 高中生的 LLM 代码面临开源现实：一名高中生试图出售用于 本地 LLM 训练 的代码，但因与 Unsloth 等 开源解决方案 竞争而面临质疑。
  • 该开发者已决定将项目 开源，而不是尝试与免费替代方案竞争。
• Cohere 模型接入 OpenAI SDK：根据 快速入门指南，Cohere 模型 现在可以通过 OpenAI SDK 访问，支持流式传输、tool calls 和结构化输出。
  • Compatibility API 镜像了 OpenAI SDK 格式，允许用户通过将 base URL 更改为 https://api.cohere.ai/compatibility/v1 并设置其 COHERE_API_KEY，从 OpenAI 切换到 Cohere 模型。
• Compatibility API 支持高级功能：Compatibility API 支持 结构化输出 (JSON Schema)、tool calls 和 状态管理 等功能。
  • 用户被引导至 <#1168578329423642786> 频道进行提问和反馈。
• VPS 访问 Cohere API 被封锁：有用户报告称，从 VPS 发起的 Cohere API 调用 被 封锁。
  • 该用户被引导联系 support@cohere.com 寻求帮助。
• Token 计数方法讨论中：一位社区成员询问，与直接使用 Cohere API 提供的更大上下文窗口相比，使用 OpenAI API 的 128K 上下文窗口 会如何影响 token 计数。
  • 一名成员询问是否会对 直接 Cohere API 进行修改，这可能会影响其未来的可用性。

Eleuther Discord

• Deepseek 攻克 DeepGEMM 内核：成员们对 Deepseek 新发布的 DeepGEMM 印象深刻，它在带宽和计算限制内优化了效率，特别是考虑到 H800 的限制。
  • 这是一个广泛使用 TMA 的开源 Gemm 内核。
• 硬件成为最重的护城河：普遍观点认为，像 MLA、DeepGEMM 这样的架构内核或 DeepEP 这样的通信策略的高效实现并不能提供显著的竞争优势。
  • 一位成员调侃道：唯一的护城河就是硬件。
• GPQA 实现探讨：一位成员询问了 GPQA 的实现情况，特别是其测试状态，参考了 Open LLM Leaderboard 和 GPQA 数据集（200 行的 diamond 子集）。
  • 在有报告称得分较低后，成员们分析了 GPQA diamond 的结果，讨论了潜在的 tokenization 问题和问题的难度。
• GQA 导致 GPT-NeoX 出错？：一位成员报告了在 NeoX 中导出带有 GQA 的 Llama 模型 时出现的问题，模型在使用 GQA 时会崩溃，但在不使用时运行正常，询问导出脚本是否需要修改，并附上了 GitHub pull request 链接。
  • 该成员推测，这些错误可能是由于 Grouped Query Attention 实现 导致的。

Modular (Mojo 🔥) Discord

• Modular 精简 MAX 和 Mojo 仓库：Modular 正在简化其 MAX 和 Mojo 的仓库结构，将 MAX repo 合并到 Mojo repo 中，以简化对文档和标准库的贡献，正如在此论坛帖子中所宣布的那样。
  • 一位社区成员质疑仓库的变化是否预示着不再将 Mojo 视为一种独立语言。
• Mojo 并行化需要显式操作：目前 Mojo 编译器中没有自动并行化 (auto-parallelization)；开发者必须显式使用 stdlib 来并行化任务，以利用多核 CPU。
  • 用户曾询问如何让 Mojo 程序自动利用所有系统资源，但目前必须进行显式并行化。
• Algorithm Package 仍是个谜：algorithm package 尚未开源，且在 stdlib repo 中不可见。
  • 其用法和可用性对社区来说仍不明确。
• 智能指针引发迭代器健全性辩论：关于智能指针及其使 C++ 像 Circle 或 Rust 一样安全的潜力的讨论，链接到一篇讨论智能指针的博文。
  • 一位成员询问了 Mojo 中是否会有健全的迭代器，以及是否可能处理 Safe Rust 中解决的迭代器失效问题，特别是涉及集合中对象交换的算法。
• MLIR Dialect 文档匮乏：Mojo 利用了各种 MLIR dialects（kgen、pop、lit 等），它们拥有自己的 op 和类型，但其中大多数没有文档记录，也没有在 stdlib 中使用或加载到 Mojo 运行时的 MLIR 上下文中。
  • 这是因为这些 dialect 是 stdlib、MAX 和编译器共享的私有契约的一部分，它们可能未经过充分测试，具有不稳定的 API，或者包含专有的增值内容。

Yannick Kilcher Discord

• 对齐努力导致其他地方出现偏差：成员们探讨了对齐权衡 (alignment tradeoff)，描述了为一种行为优化模型如何导致其他地方的失调 (misalignment)。
  • 讨论强调，对齐总是相对的，受数据中固有的偏差和模型控制者价值观的影响。
• Google 在实现上遇到困难：成员们指出，Google 经常提出引人注目的想法，但在不完整的实现上挣扎。
  • 有理论认为，Google 的内部工具根源削弱了他们开发广泛适用的外部产品的能力。
• Apple 的 AI 将 “Racist” 误打为 “Trump”：Apple 解决了一个问题，即其语音转文本 (speech-to-text) 工具将 racist 误打成了 Trump。
  • 专家怀疑该问题是底层软件中有意引入的，而不是真正的语音识别错误。
• LIMO 以更少的数据实现推理：论文 LIMO: Less is More for Reasoning 表明，使用更少的数据点进行训练可以实现更有效的推理。
  • 该论文旨在辨别为什么推理训练能从低数据量中获益，尽管对于原因并没有太多的假设。
• ChatGPT 插件获得 Deep Research：一位用户分享了 Deep Research 的截图，这是面向 ChatGPT Plus 用户的一个插件。
  • 未提供更多细节。

Nomic.ai (GPT4All) Discord

• 数据泄露：巨型 CSV 引发索引难题：一名成员询问了两个 277 GB CSV 文件的索引时间，这可能与最近 NPD 数据 的数据泄露有关。
  • 另一名成员建议使用 GSplit 等软件将文件分割成 1 GB 的分块，以便更容易进行索引。
• ModernBERT 模型：多语言模型思考：一名成员寻求基于 ModernBERT 架构训练多语言模型的细节，并链接到了 ModernBERT GitHub 仓库。
  • 他们对 NomicAI 微调后的模型（如 nomic-embed-text-v2）表现出浓厚兴趣。
• Nomic Embed V2：尚无 Ollama 官方消息：一名成员询问了 Nomic Embed Text V2 在 Ollama/GPT4ALL 中的部署时间表，他们更倾向于不需要编程专业知识的部署方法。
  • 另一名成员引用了最近在 Nomic AI 博客上发布的 Nomic Embed Text V2 公告。
• GPT4ALL 渴望 Gemini 风格的引导：一名成员请求提供未来 GPT4ALL 更新的路线图，特别是类似于 Google Gemini 的 LIVE 模式。
  • 另一名成员建议加入语音识别 STT 和 TTS 输出，并链接了一个关于创建 GPT4ALL 语音助手的 YouTube 教程。

MCP (Glama) Discord

• Claude Code 通过行号实现精确控制：成员们注意到 Claude Code 在读取文件时会为每一行包含行号，这增强了代码编辑的可靠性，并减少了 mcp-language-server 等项目中的上下文占用。
  • 一名成员指出，行号对于自动调试器至关重要，能够实现准确的断点设置以及与 Pylance 等工具的集成。
• MCP Server 实现出现幻觉：在使用本地 LLM（Mistral 和 Llama3.1）构建自定义 MCP servers 并将其与 mcp-cli 集成的实验中，产生了不同的结果。
  • 虽然 Llama3.1 最初表现得过于激进，但 Mistral 随后开始对工具使用产生“幻觉”，而不是正确地调用它们。
• MCP 所有权仍悬而未决：会议澄清了 MCP 是一个目前由 Anthropic 推动的开源项目，长期计划是交由公正的基金会/委员会管理。
  • 更多信息可以在 此 GitHub 讨论中找到。
• FastMCP 修复竞态条件：鼓励 FastMCP（一个用于构建 MCP server 的 TypeScript 框架）的用户升级到最新版本，以解决一些棘手的 竞态条件 (race conditions)。
  • 强烈建议升级，以确保使用该框架的应用程序的稳定性和可靠性。
• FastMCP 支持自定义身份验证：FastMCP 现在包含 自定义身份验证，允许开发者使用自定义函数对 SSE 客户端进行身份验证。
  • 这一增强功能在保护 MCP servers 安全方面提供了更多控制权和灵活性。

Torchtune Discord

• StatefulDataLoader 迅速普及：成员们正在将 StatefulDataloader 的使用推广到 TorchTune 的所有 recipe 中，以实现基于步长 (step) 的检查点保存并跟踪 dataloader 状态。
  • 鼓励提交多个 PR，志愿者们正在处理单设备 recipe，如 lora_dpo_single_device 和 knowledge_distillation_single_device。
• MPS 后端获准使用：对于与 向剩余 recipe 添加 StatefulDataloader 任务相关的单设备 recipe，使用 MPS 后端 已获得批准。
  • 一名成员主动请缨开始工作，确保父级 issue 不会被耽搁。
• 寻求 CI 支持以处理截断和跳过：一名成员请求在不合并的情况下为 PR 2419 启动 CI，而另一名成员当时不在。
  • 该成员表示这是他们当天的最后一次尝试，强调了紧迫性。

Stability.ai (Stable Diffusion) Discord

• Hunyuanvideogp V5 规避了 VRAM 限制？：Reddit 上的一篇帖子强调了 Hunyuanvideogp V5 高效的 VRAM 使用率，暗示它突破了 VRAM 定律。
  • 然而，另一位成员澄清说，它是通过优化 VRAM 使用来实现高效的，使用公式 Width * Height * FPS * Length 来计算 VRAM 需求。
• 伦敦、巴黎、柏林迎来 AI HackXelerator：London, Paris, Berlin AI HackXelerator™ - LPB25 活动已宣布，计划于 2025 年 4 月 5 日至 25 日 举行 (kxsb.org)，汇集了 500 名创意人士、开发者和设计师。
  • 此次黑客松将专注于 AI 音乐、图像、视频、时尚和游戏，并得到 Central Saint Martins, Station F, Mistral AI, Hugging Face, Luma AI, Vultr, AMD 和 Nvidia 等品牌的支持。
• 诈骗警报！用户作品集被盗：一名成员举报 @w361_emp 是诈骗者，据称其盗取了该成员的作品集。
  • 该成员警告其他人要小心此用户。
• 区域性 LoRA 提示技术浮出水面：一位成员询问如何在特定图像区域使用 LoRAs，例如仅在嘴部区域应用兽人 LoRA。
  • 另一位成员建议探索 ComfyUI 中的 regional prompting，并指出该功能此前已经实现。

tinygrad (George Hotz) Discord

• Tinygrad 寻求新鲜血液：目前有一些针对新贡献者的 good first PRs，其中一些相对简单，特别是需要添加到 tensor.py 中的方法，如 as_strided、topk 和 bitwise_xor。
  • 社区成员表达了贡献意向，但不清楚每个 UOp 的 src 和 args 的签名，包括寻找定义 Enums 之间约束的文档或代码引用。
• TestSpeed.test_sum 变慢：一位成员报告在处理 TestSpeed.test_sum 时遇到困难，并进行了使 GROUP 操作的 AST 更加合理的更改，但在 BEAM search 无法找到针对较大 Tensor 的优化时遇到了障碍。
  • 问题在于 BEAM search 没有探索连续四个 OptOps 的选项，而优化 (4096,4096) Tensor 需要这些选项，因为仅前三个操作就非常缓慢。
• 优化破坏了 CI：arange GROUP 优化未被应用，导致 arange 操作出现额外的内循环并破坏了 arange 测试。
  • 该成员正在寻求关于是否调整 BEAM search，或者在何处添加水平加法或循环展开的新模式的建议。
• 引发争论：Safetensors、图 (Graphs) 和 Pickles？：一位成员询问在 safetensors 中编码计算图的问题，提到希望有一种类似于 ONNX 的通用编码约定，但一位社区专家澄清说 safetensors 不保存计算图，只保存 Tensor。
  • 另一位成员引用了之前的讨论，并建议将 jitted 函数进行 pickle 序列化，作为导出/导入计算图的替代方案。

LLM Agents (Berkeley MOOC) Discord

• GPT-4 访问权限提升 Agent 记忆：成员们讨论认为，只需确保 Agent 拥有 GPT-4 访问权限，即可增强 Agent memory。
  • 他们指出，与 GPT-3.5 相比，GPT-4 能带来更有效的记忆使用和更高质量的响应。
• 反馈机制是 Agent 学习的关键：频道辩论了 feedback mechanisms 对于 Agent 提高学习能力的必要性。
  • 一位成员建议利用新的标注工具来收集有关 Agent 性能的反馈。

MLOps @Chipro Discord 没有新消息。如果该频道长期沉寂，请告知我们，我们将将其移除。

Gorilla LLM (Berkeley Function Calling) Discord 没有新消息。如果该频道长期沉寂，请告知我们，我们将将其移除。

AI21 Labs (Jamba) Discord 没有新消息。如果该频道长期沉寂，请告知我们，我们将将其移除。

PART 2: Detailed by-Channel summaries and links

完整的频道细分内容已针对电子邮件进行了截断。

如果您想查看完整的细分内容，请访问此电子邮件的网页版：!

如果您喜欢 AInews，请分享给朋友！提前感谢！