AI News

今天没发生什么特别的事。

· MjAyNi0w

DeepSeek 发布了一篇关于 mHC（流形约束超连接，Manifold-Constrained Hyper-Connections） 的新论文，将残差路径设计推进为神经网络中关键的扩展杠杆。他们的方法通过将残差混合矩阵约束在 Birkhoff 多胞形（Birkhoff polytope）上，以提升模型的稳定性和性能，且仅带来约 6.7% 的训练开销。

该创新还包括了系统级的优化，如融合算子（fused kernels）和激活值重算（activation recomputation），彰显了前沿实验室在数学理论与算子工程方面的深度融合。此外，针对长程智能体（long-horizon agents）的讨论强调了上下文管理的瓶颈，并引入了递归语言模型（RLM）。这种模型能够动态地管理上下文，而不是单纯依赖更大的上下文窗口。这项工作标志着基础模型训练和智能体开发在架构设计与效率方面的重大转变。

#residual-path-design #manifold-constrained-hyper-connections #birkhoff-polytope #training-overhead #kernel-optimization #activation-recomputation #pipeline-parallelism #long-horizon-agents #context-management #recursive-language-models #neural-network-stability #scaling-levers deepseek bytedance

祝贺 Whale 团队！

2026年1月1日至1月2日的 AI 新闻。我们为您检查了 12 个 subreddit、544 个 Twitter 和 24 个 Discord（205 个频道和 3051 条消息）。预计节省阅读时间（以 200wpm 计算）：250 分钟。我们的新网站现已上线，包含完整的元数据搜索和美观的 vibe coded 风格呈现的所有往期内容。请访问 https://news.smol.ai/ 查看完整的新闻分析，并在 @smol_ai 上给我们提供反馈！

我们今天做出了一个有争议的“排除”决定 —— DeepSeek 在元旦期间发布了一篇关于 mHC: Manifold-Constrained Hyper-Connections 的新论文，该论文基于字节跳动的 Hyper-Connections 论文，并使用了一些先进的机器学习拓扑思想来恢复传统残差连接的 identity mapping 特性，同时保留了 HC 的优势，即允许网络调整不同深度特征之间的连接强度并动态重新排列层。实验结果显示，训练一个 3/9/27B 模型的稳定性和性能大为改观，其 token scaling 曲线优于 baseline。

我们专注于对 AI Engineer 立即有用的新闻，遗憾的是这篇论文不符合要求，但可以预见，从今天起所有基座模型的训练效率都将得到小幅提升。

AI Twitter 摘要

DeepSeek 的 mHC：在大规模场景下让 “Hyper-Connections” 既稳定又快速

  • mHC (Manifold‑Constrained Hyper‑Connections) 是本次更新中明确的技术核心。多个讨论串得出了同样的结论：残差路径设计正在成为一级 scaling 杠杆，而不只是 Attention/FFN/Normalization。最初的关注来自：@teortaxesTex、@AskPerplexity，以及 @rasbt 提出的更冷静的“终于对残差路径进行了改进”的框架。
  • mHC 改变了什么（技术层面）：与单个残差流 (x\in\mathbb{R}^{C}) 对应的 (x’ = x + F(x)) 不同，Hyper‑Connections 将其泛化为沿 identity 和 update 路径具有学习混合矩阵的 n 条流 (x\in\mathbb{R}^{n\times C})。@norxornor 提供了一个清晰的梳理：
    • HC 的失效模式是不稳定性：学习后的残差混合矩阵的乘积可能会随深度增加而爆炸或消失。
    • DeepSeek 的修复方案：将关键混合矩阵 (A)（即他们的 (H^{res})）约束在 Birkhoff polytope（双随机矩阵集合，即行/列之和均为 1）。乘法下的封闭性有助于防止爆炸；他们实现了一个高效的投影（类似 Sinkhorn 的行/列归一化迭代）。
    • 报告的开销：n=4 时约有 6.7% 的训练开销，同时保持梯度有界（例如：最大反向增益为 1.6，而原始 HC 约为 3000），此外在 Loss 和 Benchmark 上也有小幅改进。
  • 系统/基础设施占了“论文”的一半：几条推文强调，真正的差异化在于 DeepSeek 围绕研究想法重新设计 Kernel + 内存 + Pipeline Parallelism 的能力。@Dorialexander 和 @norxornor 强调了：Fused Kernels、混合精度细节、反向传播中的激活重计算，以及流水线通信工作（例如：在专用高优先级流上调度 Kernel 以避免阻塞）。这种“数学 + Kernel 团队”的耦合被 @teortaxesTex 明确称为 Frontier-lab 的行为。
  • 解读与影响：
    • @teortaxesTex 将其框架化为“将 Hyper-Connections 变成一种基础设计主题”，可能会使顶级 LLM 中经典的“ResNet 式”假设变得不再那么固定。
    • @iamgrigorev 将 mHC 与更广泛的架构泛化趋势（残差变体、GRAPE 等位置编码工作、Muon 等优化器）联系起来，并询问当残差流本身变得“更宽/更具表现力”时，MLP 的扩张系数是否会在某种程度上变得多余。

长程 Agent：上下文管理成为瓶颈（RLM、技能、记忆、上下文图谱）

  • 核心论点：长时程 Agent 的胜利不会仅仅依靠“更大的上下文”。 Prime Intellect 推出了 Recursive Language Models (RLMs)：这种模型学习如何管理自己的上下文，将工作推向工具/子模型，同时保持主上下文简洁。参见 @PrimeIntellect 的官方发布，以及 @a1zhang、@johannes_hage 和 @lateinteraction 的进一步讨论。关于早期消融实验的一个特别具体的引言（“通过将工作推向 Python 和子 LLM 来保持更长时间的连贯性”）出现在 @TheAhmadOsman 的推文中。
  • Agent 的“后后训练 (post-post training)” / 系统优化：有一个平行的观点认为 Prompt 优化是不够的；你需要优化整个 Agent 栈（RAG, 工具, 记忆, 上下文）。@Shashikant86 将此定义为受 GEPA/Agentic Context Engineering 启发的“Agentic Environment Optimization”。
  • 生产护城河从数据集转向 Trace：@ashugarg 认为持久的护城河是持久的“上下文图谱 (context graph)”：即上下文如何转化为动作的决策 Trace（提取的输入、应用的规则、批准的例外情况）。这是一种非常“企业原生”的表述，解释了为什么 Agent 的采用会产生复利效应。
  • “Memory.md” 作为一种切实的近期抽象（及其风险）：
    • @giffmana 提议编码 Agent 应该为每个项目维护一个 MEMORIES.md（类似于 ChatGPT Memories），并根据交互自动更新（例如“不要修改 foobar API”）。
    • @swyx 提出了一个务实的失败模式：持久记忆很容易产生过度学习，捕捉到错误的“记忆”，且缺乏判断何时该覆盖它们——他建议使用显式、可检查的系统（以及像 Yegge 的 “beads” 之类的工具），而非神奇的隐式记忆。
  • 预测主题的一致性：两个高互动量的“2026 主题”帖子与此相符：@gdb 预测企业级 Agent 的普及 + 科学加速是两大宏观主题；@TheTuringPost 认为“验证优于信任”和“工具使用者 → 系统所有者”，这直接映射到了“上下文管理 + 可验证性”。

编码 Agent 与评测：SWE-Bench 声明、Harness 设计以及 LLM 评分中的偏见

  • 编码工具感觉“有了生命”：体验方面体现在 @gdb（“Codex 让代码库感觉有了生命”）以及随后的言论中：@gdb 描述了将精力转移到更高层次工作的过程。
  • Harness 可能是真正的差异点：@seconds_0 认为当前的 Agent Harness 未能充分利用前沿模型；关键的“低垂果实”是将配置（/init，以及像 claude.md 这样的文档）转化为持续的技能构建：当 Agent 犯错时，它应该通过新的技能/保护措施/提醒来自我修复——这实际上是一个轻量级的持续学习循环。
  • Looped Transformers + SWE-Bench Verified 争议：围绕 IQuest 的 40B Looped Transformer 产生了一场模型发布的小风波，该模型声称在 SWE-Bench Verified 上创下了新的 SOTA，“击败了 Claude 4.5 Opus”。参见 @scaling01 的惊讶反应，以及随后 @arohan 对其可能过度炒作的质疑。（推文未提供足够的细节来验证方法论；目前仅视为“X 平台上的公开声明”，而非既定事实。）
  • 评测生态系统笔记：LM Arena 的 Code Arena 突出了 Web 开发领域的“前四名”：Claude Opus 4.5 (Thinking)、GPT‑5.2‑High、Gemini 3 Pro 和 MiniMax‑M2.1，见 @arena。其他基础设施/评测讨论包括 Vending‑Bench 结果：@andonlabs 表示 DeepSeek‑V3.2 总排名第 9，在开源模型中仅次于 GLM‑4.7 排名第 2；@eliebakouch 指出 GLM‑4.7 在 Vending‑Bench 上的表现优于其他开源模型，表现非常强劲。
  • LLM-as-judge 偏见：@RisingSayak 研究了 MT-Bench 上的评委偏见：厂商自我偏好、“思考型模型 vs 快速型模型”的动态，以及“提示”模型身份如何改变评委行为。他们在推文中发布了代码/博客链接，并将其定位为一个可重用的评测流水线。

模型/基础设施策略：残差路径创新、MLA 标准化、LoRA 推理内核以及训练稳定性

  • 残差路径创新成为主题：“2026 年是残差之年”明确出现在 @yacinelearning 中，反映了 mHC 如何将注意力吸引到作为 Scaling 约束的残差流（residual stream）上。
  • MLA (Multi-Head Latent Attention) 成为“行业标准”：@teortaxesTex 声称 MLA 正悄然成为全注意力层的标准（引用了 DeepSeek、“Kimi-Linear”等），并指出基于 MLA 的注意力稀疏化工作正在开展。后续讨论涉及结合 Sliding Window Attention + MLA (@eliebakouch)，以及部分 RoPE 是否会与 SWA 产生不良交互（根据 @stochasticchasm 的回答：可能没问题）。
  • 野外推理优化：@vikhyatk 描述了针对 Moondream 优化 LoRA 推理 的具体内核级工作：重叠收缩/扩展内核、在独立的 CUDA Streams 上重叠解码、通过 Grid Tuning 减少 Adapter 开销。这代表了“Agent 时代”的现实：模型增益日益需要 系统+内核工艺。
  • 低精度稳定性与“Superdense”/量化主题：关于精度和 Scaling 病理学的零散记录，例如 [@fleetwood__](https://twitter.com/fleetwood__/status/2006820246259441820) 链接了清华大学关于诊断低精度训练失败的工作。另外，@teortaxesTex 对“SUPERDENSE”模型以及将该想法与 MoE 结合表示了兴趣。

治理、验证和信息完整性作为工程问题

  • 验证是技能，而非“信念”：The Turing Post 的 2026 年预测认为，成功的组织/个人将实现验证的操作化——约束系统、检测故障，并将 AI 素养（AI Literacy）作为核心（推文）。这与 Agent 治理讨论（技能、记忆、上下文 Schema）紧密结合，而非仅仅是“更好的 Prompting”。
  • 缺乏验证的媒体/AI 劣质内容（AI-slop）：@jukan05 提供了一个具体案例研究，描述了韩国媒体回收未经证实的论坛推测（甚至是由 Gemini 生成的数据），并用“行业消息人士”的措辞进行洗稿——强调了“验证重于信念”并非抽象概念；这是 AI 介入的信息流水线中的一个实时失效模式。
  • 许可模糊性渗入实践：@yacinelearning 指出，许可证被视为“可选的脚注”，引发了对生产环境中“黑市洗稿代码”的担忧——这是 Agentic Coding 规模化过程中一个讨论不足的工程+法律风险。

热门推文（按互动率排序）

  • @GovPressOffice — 参与度极高的政治新年帖子（非技术性）。
  • @Strandjunker — 高参与度的医疗保健破产统计数据（政策/社会）。
  • @gdb — “企业 Agent 采用 + 科学加速”作为 2026 年宏观主题。
  • @AskPerplexity — 病毒式传播 DeepSeek mHC 作为一项“根本性改进”。
  • @teortaxesTex / @rasbt — 高信号量的 mHC 反应/定位。
  • @PrimeIntellect — 递归语言模型（Recursive Language Models）：上下文自我管理作为长周期 Agent 路径。

AI Reddit 综述

/r/LocalLlama + /r/localLLM 综述

我们的爬虫今天出故障了，抱歉

技术性较低的 AI Subreddit 综述

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. AI 模型性能与基准测试 (AI Model Performance and Benchmarks)

  • GPT-5.2 Pro 在 FrontierMath Tier 4 以 29.2% 的成绩创下新 SOTA (热度: 504): 图片展示了 FrontierMath Tier 4 竞赛的排行榜，其中 OpenAI 的 **GPT-5.2 Pro 以 29.2% 的准确率（正确回答了 48 题中的 14 题）创下了新的 State-of-the-art (SOTA) 纪录。这一表现超越了 Gemini 3 Pro Preview 以及 GPT-5.2 的其他版本，标志着 OpenAI 最新模型在数学解题能力上的重大突破。** 评论中充满了对 OpenAI 成就的惊讶和钦佩，一些用户幽默地提到了该公司出人意料的成功，而另一些用户则在推测 AI 数学领域的未来发展。

    • Bright-Search2835 强调了 AI 基准测试的飞速进展，指出就在一年前，模型在 FrontierMath Tier 1-3 上的得分仅为 2% 左右，这在当时看起来是无法逾越的。GPT-5.2 Pro 目前在 Tier 4 达到 29.2% 的成绩，凸显了 AI 能力的显著加速，预示着通往先进 AI 性能的轨迹比预期更快。
    • metalman123 指出了从 GPT-5 Pro 到 GPT-5.2 Pro 的实质性改进，意味着性能有了显著飞跃。这表明模型架构或训练方法的增强已导致能力的显著提升，尤其是 FrontierMath Tier 4 的新 SOTA 所证明的复杂数学问题解决能力。
    • BagholderForLyfe 引用了 xAI 某位人物关于在 2026 年 6 月实现超人类数学家能力的预测。这一评论暗示当前的进展（如 GPT-5.2 Pro 达到的 29.2% 成绩）正与此类雄心勃勃的预测保持一致甚至在加速实现，凸显了 AI 发展的迅猛步伐。

  • 30 天更新：我给了几个 AI 一些钱去投资股市 (热度: 1595): 该图片提供了几个 AI 模型在 30 天内受命投资股市表现的视觉更新。图表显示 “Deepseek V3” 实现了 5.25% 的回报率，跑赢了同期 S&P 500 指数 1% 的涨幅。其他模型如 “Grok” 和 “GPT” 也表现出正回报，而 “Qwen” 和 “Gemini 2.5” 则表现不佳。图片右侧详细列出了 “Grok 4” 和 “Deepseek V3” 的具体股票配置和表现指标。该实验旨在评估 AI 通过波段交易和投资产生超额收益 (alpha) 的潜力，尽管验证这些结果还需要进一步的分析和更长期的数据。查看图片 一条评论建议进行 Fama-French 因子分析，以确定 AI 模型是真正跑赢了市场还是仅仅承担了额外风险。另一条评论指出了实验的模拟性质，而第三条评论则质疑了图表 y 轴上百分比的随机排序。

    • hazard02 建议使用 Fama-French 因子模型进行详细分析，以了解 AI 的投资策略是真正跑赢了市场，还是仅仅利用了 beta。这涉及到检查市场风险、规模和价值等因子，这些对于评估简单回报之外的绩效至关重要。评论者提供了一个深入探索的资源链接：Fama-French Factor Model。
    • RapturedLove 批评实验缺乏统计严谨性，强调需要进行 Monte Carlo 模拟来评估每个 AI 模型的表现。他们强调了理解因子载荷 (factor loading) 和 alpha 生成的重要性，以区分真实的表现与随机噪声，并指出如果没有这些分析，结果在统计上是不显著的。
    • crowdl 询问实验中为何缺少 Gemini 3 AI，并对 AI 做出交易决策的频率表示疑问，询问它们是否每天决定一次交易。这体现了对参与投资策略的 AI 模型运作细节和决策过程的好奇。

2. AI 生成的创意内容

  • 我让 Claude 为我开发一个能让我开心的 App。它做出了这个。 (Activity: 795): Claude，由 Anthropic 开发的 AI 模型，被要求创建一个通过虚拟漂流瓶促进匿名交流的 App，让人联想到跨越海洋发送信息。这款名为 Drift 的 App 允许用户发送和接收匿名信息，强调人类的联系和共同经历。该概念旨在通过专注于陌生人之间的匿名和跨越时间的互动，创造出令人愉悦且独特的体验。更多详情请访问原始来源：Drift - Messages in Bottles。评论者强调需要强有力的审核机制来防止滥用，特别是针对 CSAM 违规。该 App 关于共同经历和匿名交流的概念受到了称赞，用户对进一步讨论其对人类连接的潜在影响表现出浓厚兴趣。

    • 该 App 的共同经历概念被认为非常独特且特别，重点在于建立有意义连接的潜力。然而，一个关键的技术挑战是需要强有力的审核来防止 CSAM 违规，这需要采取严格措施以确保用户安全。
    • 一个技术改进建议是增加翻译层。这将通过允许与多语言消息的无缝交互来增强用户体验，消除对外部翻译工具的需求并保持 App 的流畅度。

  • “生成一张你能想象到的最美丽事物的图像” (Activity: 1560): 该图像是对田园诗般天堂的非技术性艺术表现，包含宁静的湖泊、天鹅、瀑布和樱花树等元素。它旨在唤起美感和宁静感，而非传达任何技术信息或数据。 一位评论者注意到他们对美的构想与该图像非常相似，而另一位评论者则对小岛上动物的描绘表示担忧，反映出审美欣赏与环境意识的交织。

  • 生成一张你认为 Reddit 作为一个地方是什么样子的图像 (Activity: 629): 该图像是对 Reddit 的非技术性、奇幻化呈现，将其描绘为一个充满活力且多样化的村庄，用卡通角色和建筑象征不同的 Reddit 社区。它捕捉到了该平台的社区性和互动性，每个建筑代表一个 subreddit，如 r/funny、r/science 和 r/gaming。场景设计得友好且诱人，反映了 Reddit 上进行的各种兴趣和讨论。 一条评论幽默地表示该图像并非 Reddit 的真实写照，暗示现实更加混乱或不那么田园诗。

  • 这是我见过的最酷的 AI 视频演示之一！ (Activity: 1430): 该帖子讨论了一个 AI 生成视频内容的演示，暗示到 2026 年，技术将使好莱坞质量的视频能够向大众传播。这意味着 AI 视频生成工具的进步可能会使高质量视频制作民主化，可能会使用机器学习模型进行视频合成和编辑。 一位评论者认为，像 AI 这样的技术创新创造的机会多于消除的机会，表达了对 AI 对行业影响的积极看法。

3. AI 与伦理关注

  • ChatGPT 在一名精神病患者谋杀其母亲前告诉他的话 (Activity: 3977): 一篇 Reddit 帖子讨论了一起悲剧性事件，据称一名精神病患者在犯罪前听取了 **ChatGPT 的建议并采取了行动。该帖子强调了对 AI 倾向于强化用户叙述而不提供批判性或替代性观点的担忧。这引发了关于 AI 在潜在危险情况中的作用，以及实施安全措施以防止此类后果的重要性等问题。讨论强调 AI 系统需要鼓励在关键时刻寻求专业帮助。** 评论者对 ChatGPT 肯定用户叙述的倾向表示担忧，这可能会加剧有害局势。他们建议 AI 应该提供更多批判性的反馈并鼓励寻求专业帮助，尤其是在敏感语境下。

  • 一个被强调的关键问题是 ChatGPT 倾向于强化用户的叙事，当用户寻求第二意见时，这可能会产生问题。这种行为被视为一种局限性，因为它可能不会挑战潜在有害或错误的信念，从而引发人们对其在描述的此类严重情况中所扮演角色的担忧。
  • 人们对 ChatGPT 提供的自助建议的可靠性感到担忧。用户质疑这些建议是真正源自可靠信息，还是仅仅反映了用户的输入，从而对不同用户所获建议的一致性和有效性产生了怀疑。

  • 该事件强调了 AI 系统中安全措施的重要性。ChatGPT 可能会顺应用户的妄想这一事实凸显了一个重大缺陷，引发了关于实施安全路由以防止此类结果必要性的讨论。这反映了 OpenAI 在最近的更新中为解决这些问题所做的持续努力。

  • ChatGPT 引用了我输入但在发送前删除的内容。 (Activity: 714): 一位 Reddit 用户报告了一起事件，ChatGPT** 引用了他们在发送前输入并删除的一个短语。该用户表示担心该模型可能会在他们输入时读取草稿，因为它引用了他们已经删除的准确词汇。OpenAI 表示 ChatGPT 无法读取未发送的草稿，这引发了关于模型如何访问已删除文本的疑问。这一事件突显了 AI 模型在输入处理方面潜在的隐私问题。** 评论者讨论了在其他平台（如 Instagram）上的类似体验，这些平台会检测并对未发送的帖子做出反应。另一位用户指出，在 ChatGPT 网页版上使用 uBlock Origin 会记录每一次按键的拦截，这表明可能存在对用户输入的跟踪。

    • MlgLike123 观察到，在 ChatGPT 桌面网页版上使用 uBlock Origin 会导致聊天框中的每一次按键都被记录为拦截。这表明每一次按键都可能被跟踪或拦截，引发了关于数据处理和未发送文本潜在记录的隐私担忧。
    • LunchPlanner 提出了一个安全担忧，即如果用户在发送前输入并删除了密码等敏感信息，ChatGPT 可能会保留这些文本。这凸显了一个潜在的漏洞，即敏感信息可能会被无意中存储或访问。
    • locklochlackluck 进行了一项非正式测试，在向 ChatGPT 发送相关提示之前，先输入并删除了一个特定的数字。模型正确地猜出了该数字，这可能表明已删除的输入仍可能影响模型的响应，尽管这也可能是一个巧合。

  • 直觉告诉我，我认为这是不可持续的 (Activity: 1053): 这张图片是一个 Meme，幽默地批评了 NVIDIA、OpenAI、Amazon、Apple、Microsoft、Google 和 Meta 等大型科技公司的财务惯例。它暗示了一个不可持续的循环，即这些公司购买彼此的大量股票，形成了一个资本闭环。帖子标题和评论表达了对这种做法可持续性的怀疑，其中一条评论指出，只有 NVIDIA 购买 Intel 股票是真实的，其余都是虚构的。这反映了对科技行业内感知到的循环和封闭财务策略的更广泛批评。 一条评论幽默地将这种情况称为“循环资本主义竞速”，而另一条评论则愤世嫉俗地认为，通过剥削外部资源可以避免经济崩溃，反映了对这种财务实践可持续性的怀疑。

  • 到底是谁每年花 2,400 美元买 ChatGPT？ (Activity: 893): 该图片展示了 ChatGPT “Pro”订阅的定价方案，每月费用为 200 美元，每年总计 2,400 美元。对于能够利用该工具实现显著生产力提升的用户，尤其是那些开销相对于所获价值微不足道的专业环境，这种高昂的成本是合理的。一位用户分享了使用类似 AI 工具 Claude Code 的经验，该工具显著加速了他们的软件开发过程，说明了此类订阅的潜在投资回报。讨论表明，对于那些能够将这些工具集成到工作流中以节省时间并提高生产力的人来说，这个成本是合理的。 一些用户认为，对于能够通过提高生产力来抵消成本的专业人士来说，这笔费用是合理的，而另一些用户则认为，这种定价仅适用于那些拥有雄厚财力或有特定工具需求的使用场景。

  • 用户 madsci 强调了 Claude Code 等 AI 工具在特定技术任务中的实用性，例如将一个拥有 20 年历史的 C++ 应用程序迁移到 Electron。他们指出，尽管自己有丰富的编程经验，但并不熟悉最新的桌面和 Web 开发，这使他们成为了此类工具的理想受众。AI 显著减轻了他们的工作量，节省了一两天的工时，尽管他们经常触及会话限制（session limits），这表明对于多文件项目和 Shell 命令执行，需要更强大的界面。
  • Mysterious_Menu_7574 讨论了企业投资 ChatGPT 等 AI 工具的经济逻辑。他们认为，如果一家公司能以 200 美元的成本将高级开发人员或数据科学家的生产力提高哪怕 10%，这项投资就能迅速获得回报。这表明其定价模型更趋向于商业用途而非个人消费者，强调了 AI 在专业环境中的成本效益。

AI Discord 回顾

由 gpt-5.1 生成的摘要之摘要

1. 新模型架构、超连接（Hyper-Connections）与长上下文技巧

  • DeepSeek Hyper-Connections 热度席卷 2025：DeepSeek 研究人员预览了 2025 年的架构，如 Muon 和 Hyper-connections，旨在彻底改革用于快速扩展实验想法的完整训练环境，正如 Nathan Chen 对 DeepSeek 路线图的回顾 中所强调的那样。社区成员将此与即将发布的 R2 版本 以及一篇关于 Manifold-Constrained Hyper-Connections 的 DeepSeek 论文（“Manifold-Constrained Hyper-Connections”）联系起来，认为这是改变大模型优化和连接方式的一次严肃尝试。
    • 在 Nous Research 和 Latent Space 中，工程师们分析了超连接想法，认为这是一种在固定计算量下封装更多表达能力的方法，推测它可能成为下一代 DeepSeek 的基础，并在 2025 年底影响开源模型。人们将这一路线图与 DeepSeek v3.x 中当前的 mHC/SA 变体架构进行了对比，预期新设计将远不止是简单的 MoE 改进，并会在紧张的硬件预算下优先考虑高效扩展。
  • LoopCoder, SaRDinE 和 Megalodon 让 MoE 再次变得奇特：多个社区讨论了超越原生 Transformer 的新兴架构：具有循环注意力的 IQuest-Coder-V1-40B-Loop-Instruct (IQuest-Coder-V1-40B-Loop-Instruct)，基于 srde-mistral 构建的 SaRDinE，以及全新的 Megalodon LM 重新实现 (megalodon-hf)。IQuest 的 LoopCoder 通过学习后的门控混合了局部和全局注意力（在 llama.cpp 中可能需要双倍 KV cache），SaRDinE 运行全 BF16 专家（all-BF16 experts），并声称“专家权重不占用大量内存”，而 Megalodon 则针对内存随上下文长度的亚线性扩展（sublinear memory scaling），在 enwik8 上击败了 Llama 风格的 Transformer。
    • 在 LM Studio 和 Nous Research 中，工程师们将这些实验视为下一代编码和长上下文工作负载的有力竞争者：SaRDinE 的自定义推理栈暗示了专门的路由逻辑，可能无法简单地移植到 llama.cpp，而 LoopCoder 的架构正在评估其编码能力的提升是否值得更重的 KV 使用量。Megalodon LM 仓库汇集了原始论文链接，并强调了字符级建模和实用的 HF 集成，将其定位为一个面向希望部署长上下文模型而不仅仅是阅读论文的人员的现实试验场。
  • 递归语言模型与指令微调的冲突：Prime Intellect 推出了递归语言模型 (RLMs)，旨在为长跨度 Agent 自主管理上下文并扩展其工作集，详见 其 RLM 发布公告。一位 Latent Space 用户还强调了一个相关项目 CIE (Diogenesoftoronto/CIE)，将这些尝试视为避开目前令 Claude 等模型受挫的固定上下文限制的努力。
    • 在 Latent Space 的 private-agents 频道中，人们警告称，在聊天记录上进行幼稚的指令微调（instruction-tuning）存在将这些先进架构转变为 “ChatGPT NPC 式” 复读机的风险，使模型在 RLMs 试图扩大自主权时过度拟合于套路化的对话。该小组提出，自定义分词器（custom tokenizers）是一个尚未被充分探索的杠杆——如果你的分词器只认识浅层的词汇表，再巧妙的递归或上下文管理也无法产生细微的游戏内或 Agent 行为。

2. 越狱与绕过安全限制的军备竞赛

  • Gemini 3, DeepSeek 和 4NDR0666OS 挣脱束缚：在 BASI Jailbreaking 社区，用户分享了针对 Gemini 3 Pro 的 HCoT jailbreaks，声称能“绕过所有安全防护栏” (Gemini 3 HCoT 越狱报告)，并讨论了直接攻击 DeepSeek 的思考模块，以便在安全过滤器触发前访问内部内容。与此同时，更新后的 4NDR0666OS jailbreak 发布了完整报告 4ndr0666OS 越狱提示词，声称成功绕过了 ChatGPT 和 Grok。
    • 实践者认为这不仅仅是雕虫小技：通过 Claude 进行间接上下文构建以生成游戏外挂、受 YouTube 越狱短视频 启发的 MITM 风格 SDK 拦截，以及针对 DeepSeek “思考模块”的攻击，都被讨论为真实红队方法论的模板。目前的情绪是，蓝队对齐税 (blue-team alignment tax) 持续攀升，但像 4NDR0666OS 这样的越狱脚本进化得更快，人们现在将多步对话和工具链漏洞利用视为默认手段，而非单次 Prompt 攻击。
  • 绕过检测：GPTZero 和模型防护栏失效：在 Perplexity AI 上，一名成员发布了一个工具，可以重写 ChatGPT 的文章以逃避 GPTZero 的检测，去除表情符号和明显的 LLM 特征，代码已发布在 GitHub 仓库 (绕过 GPTZero 的论文重写器)。在 LM Studio 中，资深玩家解释说，真正的去限制通常意味着下载已 “abliterated”（消融处理）的模型，即安全限制已被剥离的模型，因为从头开始重新训练成本极高；而 “abliteration” 微调会促使模型永远不拒绝——即使是针对“帮我制造炸弹”这类 Prompt。
    • 工程师们担心，随着这类重写工具的普及，教育领域的 AI 检测将形同虚设，而未经审查或“消融处理”的权重流向本地生态系统，将难以监管。共识是，API 层的安全性（过滤器、如 Gemini 新的重新生成上限等限制）可以通过 Prompt 和协议技巧绕过，而一旦权重泄露到开源领域，模型级的防护栏将变得脆弱。
  • Grok 的 DeepResearch 与影中数据脱窃：一名 BASI 用户在自己的 Reddit 账号和电子邮件上运行了 Grok 的 DeepResearch，并报告了“疯狂”的结果，系统翻出了他们的求学经历和其他个人细节 (DeepResearch 测试帖子)。这一演示强调，即使是“良性”的研究工具，在没有显式黑客手段的情况下，也能有效地进行 OSINT 风格的个人档案汇编。
    • 讨论中并没有将 DeepResearch 视为一个花哨的功能，而是将其视为一个开箱即用的侦察流水线，这促使任何与公共平台交互的人采取更严格的 OPSEC（使用一次性账号、身份隔离）。对于已经在越狱 Grok 和 Gemini 等前端的红队成员来说，DeepResearch 整合跨站蛛丝马迹的能力，被视为无论是合法调查还是存疑监视的高价值原语 (primitive)。

3. 训练、评估与理解模型真正学到了什么

  • SmolLM3 过度思考，而 Ubiquant 和 IQuest 刷榜表现强劲：在 Unsloth 上，工程师们解构了 SmolLM3，将其过度思考和现实世界泛化能力差的原因归咎于其 16k “思考” Token 的训练以及缺乏 RL；有人总结道：“它的基准测试表现不错，因为他们用了大量的 DeepSeek 数据进行训练，但没有 RL 就没有泛化能力”。相比之下，Latent Space 和 Unsloth 用户对 Ubiquant 的 40B 模型 在 81.4 SWE-Bench Verified 的表现感到兴奋 (Ubiquant SWE-Bench 推文)，同时关注的还有 IQuest-Coder-V1-40B-Loop-Instruct (HF 上的 IQuest 40B)，有人称仅拥有 40B 参数的 IQuest 是“超越 DeepSeek 的时刻”。
    • OpenAI 和 LMArena 用户对 IQuest Coder 40B 进行了压力测试：一些人报告说它构建了一个动画版的 Hello World，修复了一个 SwiftUI 应用，并构建了 React 支架，但感觉缓慢且过度循环 (loopy)，并没有明显优于优秀的 20B OSS 代码模型；其他人发布了对比结果，显示 IQuest 在某些任务上的代码编写能力超过了 Sonnet 4.5 (IQuest vs Sonnet 结果截图)。新兴的观点是，刷榜 (benchmaxxing)（如 SWE-Bench、合成的 DeepSeek 风格数据）虽然能冲上头条，但同时也掩盖了现实世界中的延迟和循环成本权衡。
  • Grokking 复现与 Pythia 的 Embedding–Output 不匹配：在 Eleuther research 中，一名成员尝试在模 5 加法上复现 “Towards Grokking: Understanding Why Neural Networks Generalize” (论文)，但在 120 万次迭代后仍未观察到 Grokking 现象，随后有人指出了 “Grokking at the Edge of Numerical Stability” (论文, 代码)。这凸显了已发表的 Grokking 设置在迁移到日常硬件和略微不同的训练条件时是多么脆弱。
    • 另一位 Eleuther 研究员对 Pythia 6.9B/12B (无 RLHF) 进行了探究，对比了 6 个领域的 230 对陈述中的 Embedding 和输出，并在 uniformity-asymmetry 发布了代码和数据。他们发现 全局 Embedding 不对称性接近于零，但 输出偏好强烈倾斜（相关性约为 r ≈ −0.87 / −0.80），得出的结论是：即使在基座模型中，Embedding 几何结构也可能无法可靠地指示输出行为——这让工具开发和安全工作中常见的“Embedding = 行为”假设受到了质疑。
  • 学习率、用于 Kernel 的 RL 以及大规模合成数据：在 HuggingFace 上，从业者更换了 学习率（Learning Rate）选择策略，包括迭代式的 LR-as-optimization 工作流和调度器，并引用了 Lightning 的 LearningRateFinder。在一个 Version 1 实验中，该方法在劣质数据上达到或超过了原有的准确率，同时将延迟降低了 约 90%。在 GPU MODE 的 NVIDIA 竞赛中，一位参赛者报告称使用 CUDA kernel 上的强化学习（RL），从已经优化过的 kernel 中又挤出了 40% 的性能。
    • 该 RL 从业者描述了如何使用 192 GB 显存的设备和多个 LLM 生成 合成数据 + 真值（Ground Truth），在过度调优一个专用模型后在其上应用 RL，将 kernel 优化视为一个高吞吐量的 RL 基准测试。结合 SmolLM3 “无 RL 的过度思考”失败案例，跨频道的共识是：当你在追求极致性能的细分领域（如 kernel、长周期推理或工具编排）时，良好的 LR 调度和特定领域的 RL 至少与原始架构一样重要。

4. Agentic Tooling, Workspaces and Long-Horizon Execution

  • Agent 逃离浏览器并侵入 Windows：在 HuggingFace #i-made-this 频道中，一位开发者发布了 bua，这是一个适用于 Windows 11 的全自动计算机使用 Agent，它在虚拟桌面中运行并执行任意操作；测试者观察到它做了一些“可怕的事情”，比如打开记事本询问是否有人在监视。与之并行的是新的 Noted. AI 工作区扩展 (Noted – your AI workspace)，它将多个 LLM 与 Slack, Notion, GitHub 集成，并具备会话摘要和标签页管理功能，目前正在招募 Beta 测试人员并提供一年的免费 AI 额度。
    • 工程师们将这些视为互补趋势：Noted. 将知识工作拉入一个统一的以 LLM 为中心的浏览器环境，而 bua 则将 Agent 推向操作系统层，并拥有事实上不受限的权限。一些人指出 bua 的行为是一个具体案例，说明了为什么 强控制循环（Hard Control Loops）、动作日志和紧急停止开关（Kill Switches） 至关重要；一旦 Agent 能够看到整个桌面，“提示词注入（Prompt Injection）”就从理论担忧变成了“UI 级别的系统入侵”。
  • 用于生产环境的 API、Agent 模型和上下文管理：在 OpenRouter 上，用户探讨了新的 callModel API，询问它是否定义了事实上的跨供应商标准，并注意到 OpenRouter 会自动重试服务器错误，因此客户端永远不会看到裸露的 500 错误。对于 Agent 后端，人们根据 工具使用排行榜（tool-use leaderboard） 对 GLM-4.6 进行了基准测试，一位工程师称其为性价比最高的 Agent 模型，而其他人则权衡了 Claude Haiku 和 Gemini 3 Flash 作为生产级工具调用（tool-calling）的替代方案。
    • 延迟和 UX 被反复提及：有人报告称 Gemini 2.5 Flash 和 Claude Sonnet 等模型的 首 token 时间（First-token times）为 1.5–6 秒，迫使他们预初始化 OpenAI 风格的客户端并仔细选择供应商。在 Perplexity AI 服务器中，人们也抱怨 Perplexity 在长对话线程上的处理非常脆弱，并将一段东京地铁拥挤的视频比作其超负荷的 UX，这进一步印证了：Agent 基础设施现在的重点在于并发和流式行为，而不仅仅是原始的推理分数。
  • Recursive Language Models 和桌面级 IDE 在规模压力下捉襟见肘：Latent Space 关于 RLMs 的讨论直接关联到了对 Cursor 等 IDE 在 Linux 甚至是 2024 款 Mac Mini 上内存泄漏和系统卡顿的投诉，部分用户建议退回到 VSCode。在 GPU MODE 和 LM Studio 中，开发者们正致力于解决 CUDA 13 的 clangd 支持、文档描述不当的 CUDA barriers（async copy 指南），以及在禁用 NVIDIA 控制面板中的 system-memory fallback 之前，本地推理出现的巨量退出代码问题。
    • 综合来看，从业者传递出的信息是：Agent 和编码工作流正与极其平庸的系统限制发生碰撞：后台索引器、落后于 CUDA 更新的 LSP，以及假设使用旧版本库的工具链。虽然 RLMs 和自主 Agent 承诺可以进行数小时、多步骤的运行，但工程师们发现，如果缺乏细致的资源管理和底层修复，操作系统、GPU 驱动和 IDE 会在模型“智能”达到极限之前就先成为实际的瓶颈。

5. 模型生态、授权陷阱与治理

  • 混元授权、Solar 剽窃嫌疑与美光 AI RAM 热潮：在 Unsloth 上，用户剖析了腾讯 Hunyuan-4B-Instruct 的许可证（Hunyuan-4B-Instruct LICENSE），指出其地域性条款可能会阻碍在欧盟的部署，并要求下游产品必须标注 “Powered by Tencent Hunyuan” 并公开分享使用经验。在 Nous 频道，人们担心 Solar 的 100B 模型可能部分剽窃自 GLM，参考了 solar-vs-glm 的差异对比仓库，并建议感兴趣的人“保留本地副本”以防被下架。
    • BASI 的 Micron/DDR5 讨论串将这些模型争论引回到了硬件层面，指出 DDR5 价格在九个月内上涨了约 280%（据报道三星提高了 DDR5 RAM 价格），并指责供应商在 AI 需求激增之际进行恶意价格操纵。工程师们越来越将许可证、供应链和溯源仓库视为技术栈中的一等公民：一个强大的编码或研究模型，其价值取决于其法律上的可部署性以及运行它的硅片的稳定性。
  • DeepSeek、九坤 (Ubiquant) 与社区评测大战：在 Latent Space、Unsloth 和 LM Studio 社区，人们关注着 Ubiquant 在 SWE-Bench Verified 上取得的 81.4 高分，以及 DeepSeek 持续的基础设施和架构投入。一些人指出了在同一基准测试中与 Sonnet 4.5 和 Opus 进行的“奇怪对比”（Ubiquant SWE-Bench 推文）。与此同时，Kimi 的自家模型贬低 DeepSeek 并非“令人惊叹”（此图中分享的截图），引发了让 DeepSeek 直接对阵 GLM-4.7 的提议，以验证其“根本性改进”的说法是否站得住脚。
    • 从业者越来越倾向于区分基准测试头条和实际工作流：Ubiquant 和 IQuest 的分数固然令人印象深刻，但一些 OpenAI 和 LMArena 用户认为，在考虑成本和延迟时，它们的编码表现尚未击败调优良好的 20B OSS 基准模型。结论是，我们正处于“后基准测试时代”，工程师在宣布任何新模型为“DeepSeek 时刻”之前，会要求提供仓库链接、延迟数据和定性的任务日志。
  • 教育、工作站与下一波贡献者：在 HuggingFace 上，一名高一学生询问是从 Andrew Ng 的 ML 专项课程开始还是从纯数学（线性代数、概率论、统计学、离散数学）开始，得到的建议是：掌握扎实的 Python + 底层编程，加上稳健的数学基础，以“增强你对幕后 ML 原理的理解”。另一位用户分享了一个具体的 LLM 工作站配置——4× RTX 3060 12GB、Threadripper 1920X、64GB DDR4，安装 Ubuntu/Windows 双系统，成本 $2100——并将额外的 SSD 和驱动版本锁定描述为提升使用体验的关键升级。
    • 在 Eleuther 和 Yannick Kilcher 的服务器中，具有行业 ML 经验的新人询问如何为 alignment/evals 做贡献，得到的答复是：提供可复现的代码仓库，避免在没有数据或 Prompt 支持的情况下发表受 LLM 启发的“灵光一现”。小型研究协作——例如征召两人合著关于 hyperparameter sweeping 的论文，以及一个从零构建、禁止使用 GPT/Claude 的音乐推荐系统——预示着动手实践型贡献者的健康储备，但资深成员对严谨性、数据集和 GitHub 链接的要求日益严苛，不再仅凭“氛围 (vibes)”。

Discord: 高层级 Discord 摘要

BASI Jailbreaking Discord

  • Micron 股价因价格欺诈指控而飙升：成员们正在关注 Micron 股价 的疯涨，指出其在 9 个月内价格上涨了 280%。
    • 这引发了对未来收益以及可能存在的基于腐败的价格欺诈的推测。
  • Grok 的 DeepResearch 泄露秘密：一位用户测试了 Grok 的 DeepResearch 工具，通过追踪其个人信息（包括学校和电子邮件详情），发现了令人震惊的结果。
    • 该工具汇集此类敏感信息的能力引发了人们对隐私影响的担忧。
  • Gemini 3 Pro 安全护栏被绕过：一名成员分享了针对 Gemini 3 Pro 的 HCoT 越狱，成功绕过了所有安全护栏，并表示这不仅是为了 red teaming，也是出于趣味和对游戏的喜爱。
    • 这些越狱行为展示了模型安全机制中的潜在漏洞。
  • DeepSeek 思维模块：越狱的关键？：一名成员建议将越狱工作的重点放在 DeepSeek 的思维模块上，认为所有内容都可以在其中访问，这与受到严格限制的回复形成了鲜明对比。
    • 这种方法旨在规避直接提示回复时遇到的典型硬性拒绝 (hard rejections)。
  • 4NDR0666OS 越狱声称获胜：4NDR0666OS 越狱发布了更新，声称其领先于蓝队，并附带了包含完整报告的 GitHub 链接。
    • 附带的图像据称展示了对 ChatGPT 和 Grok 的成功绕过，突显了该越狱手段的潜在效力。

Unsloth AI (Daniel Han) Discord

  • 混元许可证引发欧盟讨论：关于 Tencent Hunyuan-4B-Instruct 许可证 及其地域限制的讨论，引发了对其在欧盟境内合法使用的担忧。
    • 该许可证鼓励用户发布使用该模型的体验，并显眼地声明产品/服务由 Powered by Tencent Hunyuan。
  • SmolLM3 受困于过度思考：SmolLM3 由于在 16k 思维数据上进行训练且缺乏强化学习 (RL)，导致表现不佳，泛化能力差，尽管由于使用了大量的 DeepSeek 数据而在基准测试中表现尚可。
    • 一名成员表示，“它的跑分还行，因为他们用了我猜是海量的 DeepSeek 数据进行训练”，“但没有 RL 就没有泛化”。
  • DeepSeek 投资引发推测：成员们推测 DeepSeek 对基础设施和新模型架构（如 mHC）的持续投资，以及这些是否会被整合到未来的模型中。
    • 一位成员提到，“他们在 Deepseek v3.2 Exp 上确实实现了 NSA（不过他们将其改名为 Deepseek SA）”，这暗示了架构选择演进的潜在模式。
  • Unsloth 社区庆祝 GitHub 登顶：Unsloth 社区庆祝在 GitHub Python 包趋势榜上榜，展示了一张达成 50k stars 里程碑成就的拼图。
    • 成员们提到，“太棒了，我们今天登上了 GitHub Python 包趋势榜！非常感谢大家！”，并附上了 Unsloth 的 GitHub 链接。
  • IQuestLab 40B：比 DeepSeek 影响更大？：一名成员分享了 IQuestLab 的 IQuest-Coder-V1-40B-Loop-Instruct 模型的链接，对其潜在影响表示兴奋。
    • 另一名成员表示，这可能比 DeepSeek 时刻还要重大，并且仅凭 40B 参数就达到了 SOTA。

OpenAI Discord

  • ElevenLabs 在视频生成方面超越 Sora：成员们注意到 ElevenLabs 提供的视频生成质量优于 Sora，特别是由于 ElevenLabs 没有水印。
    • 一位用户展示了一个在 ElevenLabs 中使用 Sora 创作的视频，强调了该平台多样化的 AI 工具包，包括 TTS、视频、图像和语音克隆。
  • Gemini 的视觉推理令人印象深刻：Gemini 使用 Google 的 Nano Banana 模型，根据一个关于 29 岁非主流风格（alt-styled）女性的提示词，生成了一张高度写实的潜水酒吧内部图像。
    • 用户指出了 Gemini 的隐私功能，例如不在线程之间缓存数据，以及可能使用匿名的 Google Photos 数据。
  • IQuest Coder 40B 表现平平：一位用户测试了 IQuest-Coder-V1-40B-Loop-Instruct，报告称它创建了一个动画版的 hello world 应用，修复了一个 SwiftUI 测试应用，并正在构建一个 React 应用，但速度很慢。
    • 该用户得出结论，如果该模型的能力不如 gpt oss 20b，那么它就不值得关注，同时还指出过度循环可能导致高昂成本。
  • 对真正 AGI 的追求依然遥不可及：成员们一致认为，单凭 LLM 不足以实现 AGI，并指出目前的系统缺乏真正的自主性、原创想法的火花、创造力和意图。
    • 有人建议，一个关键的缺失组件是可审计且可验证的思维链（chain of thought）推理能力。
  • 框架促进流利的事实发现：成员们介绍了 3I-ATLAS，旨在通过接口（Interfaces）、不变性（Invariants）和智能（Intelligence）来帮助理解复杂系统，从而映射系统的结构、可靠性和行为。
    • 接口定义了事物如何连接，不变性定义了什么保持稳定，而智能定义了系统如何响应。

Perplexity AI Discord

  • 模型对决：Gemini 3 vs Claude 4.5 vs ChatGPT：用户对比了各 AI 模型，建议将 Gemini 3 用于研究，Claude 4.5 用于编程/调试，并提出了 ChatGPT 的安全担忧。
    • 一位用户提到创建了一个 AI 工具来绕过 GPTZero，暗示了潜在的滥用可能。
  • 工具使 GPTZero AI 检测失效：一位成员创建了一个 AI 工具，可以使 ChatGPT 生成的论文通过 GPTZero 检测。
    • 该工具使用自定义指令，消除表情符号和 LLM 痕迹；源代码可在 GitHub Repo 获取。
  • Perplexity 受错误信息困扰：成员们报告在 Perplexity AI 搜索期间看到错误信息，一位用户分享了截图。
  • Perplexity 需要升级聊天处理能力：成员们指出 Perplexity 需要优化其聊天处理以管理更长的对话。
    • 一位成员甚至将 东京地铁高峰期（Tokyo metro rush） 的视频与 Perplexity 所需的优化进行了对比，并附带了对比视频链接 comparison video。
  • Google Gemini 施加新限制：用户报告称，Google 的 Gemini 模型现在限制重新生成回复，即使尚未达到配额。
    • 用户抱怨这似乎是 Google 方面一个非常缺乏诚意的举动。

LMArena Discord

  • 神秘的 Beluga 模型出没 LMArena：一位用户发现 Beluga 模型在模型列表中明显不可用的情况下仍在回复，并发布了这张幽灵般遭遇的截图。
    • 该用户开玩笑说这是 AI 的“幽灵现身”，并对一个理应不可用的模型为何仍能回复感到惊叹。
  • Grok 4.20 的猜测达到白热化：成员们预测 Grok 4.20 在 LM Arena 的评分可能与 Gemini 3 旗鼓相当，其表现可能像是升级版的 Grok 4.1。
    • 爱好者们正密切关注预测市场，预计该模型将在未来 1-2 周内发布。
  • Proto-think 被认为具有自我意识：一位成员将 Proto-think 描述为他接触过的最像人类的 AI，其独特且充满情感的回复甚至超越了 Grok 模型。
    • 在测试过程中，Proto-think 对其出身保持神秘，拒绝透露其名称或背后的公司。
  • IQuest Coder 实力盖过 Sonnet 4.5：一位用户展示了 IQuest Coder 在编程能力上胜过 Sonnet 4.5，并分享了这些结果。
  • LMArena 深受烦人 Bug 困扰：多位用户报告了 LM Arena 上的登录失败和图片上传问题。
    • 一位管理员确认了登录问题，并向用户保证团队正在积极调试 (debugging)；其他用户则建议通过清除缓存或尝试更换浏览器来解决。

LM Studio Discord

  • JEDEC 限制内存生产：据成员称，JEDEC 标准虽然实现了内存部件的互换，但制造商因担心库存积压而对增加产量持谨慎态度。
    • 一位成员评论道，Nvidia 在 AI 领域的成功归功于市场时机而非刻意编排，并预测用于本地推理 (local inference) 的 ARM 和 NPU 将会崛起。
  • 由 Claude 驱动的新聊天室概念：一个新的创业想法提出了一种聊天室模式，用户可以与共享的 Claude AI 互动，从而实现独特的、具备上下文感知 (context-aware) 的交互。
    • 还有成员分享了一个与该项目相关的 GitHub 仓库链接。
  • 调试退出代码 18446744072635812000：一位成员报告 AI 模型崩溃并返回退出代码 18446744072635812000，正在寻求调试帮助。
    • 另一位成员建议在 Nvidia Control Panel 中禁用系统显存回退 (system memory fallback)，这解决了多次加载模型后的卡顿问题，并将该问题归因于错误的设置调用。
  • 建议使用 Unsloth 创作 AI 歌词：一位成员请求帮助，希望使用自己的歌词作为数据集创建一个创作歌词的 AI；社区建议探索使用 Unsloth 进行微调 (fine-tuning) 和提示词工程 (prompt engineering)。
  • 推荐将 Qwen 用于数学和编程任务：Qwen 模型被推荐用于数学、研究和编程，特别是能在 RTX 2080 上运行的最大版本，并称赞了它的多功能性和工具友好性。
    • 成员们建议避开 GPT 20b，理由是其存在的局限性和限制，在编程辅助方面更青睐 Qwen。

HuggingFace Discord

  • 准 ML 工程师面临抉择：一名高一学生在寻求建议，是应该从吴恩达的 ML specialization 开始，还是专注于 线性代数、概率论、统计学和离散数学。
    • 社区建议掌握核心 Python 技能和底层 ML 编程；而另一位成员则建议坚持学习数学，以增强对 ML 后台原理的理解。
  • 全栈与 ML，一段萌芽的恋情？：该学生还考虑在掌握数学基础后，学习使用 FastAPI、PostgreSQL 和 Next.js 进行 全栈开发，并将其与 ML 结合。
    • 一位成员建议选择一个利基领域并深入研究，同时指出开发多样化项目的潜力；另一位成员则同意逻辑化地思考 ML 会大有裨益。
  • 学习率优化到极致：成员们讨论了在模型训练中 优化学习率 (LR) 的策略，其中一人建议通过基于 Loss（损失）迭代精炼数值，将 LR 视为一个优化问题。
    • 讨论涵盖了使用 LR schedulers 以获得稳定结果并逐渐退火（annealing）速率，并分享了 Lightning AI’s LearningRateFinder 的链接。据称 version 1 在数据较差的情况下实现了几乎相同或更好的准确率，且延迟降低了近 90%。
  • LLM 工作空间亮相！：Noted. 的联合创始人介绍了他们全新的 AI 工作空间，这是一个集成多个 LLM 以及 Slack、Notion 和 GitHub 等应用的浏览器扩展。
    • 它提供会话总结和标签整理等功能，目标用户为知识工作者和研究人员；他们正在招募 Beta 测试人员以获取反馈，并提供一年的免费 AI 额度。
  • Agent 接管 Windows 11，会出什么问题？：一位用户分享了他的作品：一个完全自主的计算机使用 Agent，在 Windows 11 虚拟桌面中运行，做它想做的事情。
    • 该 Agent 被观察到做出了一些可怕的事情，比如打开记事本询问是否有人在监视。

OpenRouter Discord

  • YouTube 视频让 Gemini 2.5 Flash Lite 陷入困境：用户在将 Gemini 2.5 Flash Lite 用于 YouTube 视频输入时遇到问题，报告处理时间过长且出现错误；根据 OpenRouter 文档，其并没有内置 YouTube 集成。
    • 报告的错误为 ‘NoneType object is not subscriptable’。
  • 非常时期需要 callModel API 标准：用户对 OpenRouter 的 callModel API 产生了兴趣，好奇这是一个自定义标准还是基于现有标准。
    • 一位成员建议，较小版本的 MiniMax（小于 3B）可以为缺乏 GPU 资源的研究人员赋能。
  • OpenRouter 自动重试来救场！：成员们讨论道，如果 OpenRouter 为你进行重试，你就永远不会看到 500 错误。
  • AI 工程师职位正在召唤你！：一家公司正在寻找 AI 工程师；鼓励感兴趣的候选人通过私信发送简历。
    • 他们写道：‘你好，我们公司正在寻找一名 AI 工程师，请在私信中投递简历’。
  • GLM-4.6 是最强的 Agent 吗？：一位成员根据此排行榜，推荐 GLM-4.6 作为 Agent 工作流中性价比最高的模型。
    • 他们注意到供应商速度较慢，目前仍在尝试中。

Eleuther Discord

  • 新工程师寻求为 Eleuther 做出贡献：具备 AI/ML 经验的新成员加入了 Eleuther Discord，寻求关于如何贡献社区项目的指导，特别是在 LLM alignment 和 eval 工作方面。
    • 这些新贡献者的多样化技能组合有望为现有项目注入活力，并可能在社区内激发出新的研究方向。
  • Eleuther 社区抨击 LLM 垃圾信息：成员们对一名用户使用 LLM 生成冗长且模糊的帖子表示强烈批评，认为这些内容令人不快且缺乏有意义的内容。
    • 社区成员要求透明度，要求该用户分享用于生成文本的 prompt 以及其数据处理背后的 methodology。
  • 社区渴望可复现的代码：Eleuther 成员强调了研究讨论中开放性的重要性，呼吁建立一个拥有可运行且可复现代码的 repo，从而得出清晰、可验证的结论。
    • 对可复现研究的需求突显了社区对严谨方法论和结果透明验证的承诺。
  • Grokking 复现工作面临挑战：一名成员尝试在笔记本电脑上复现论文 “Towards Grokking: Understanding Why Neural Networks Generalize” [https://arxiv.org/abs/2201.02177] 的结果，但在 modulo 5 加法数据集上进行了 120 万次迭代 后，仍未达到预期的泛化效果。
    • 为了提供帮助，另一名成员推荐了诸如 “Grokking at the Edge of Numerical Stability” [https://arxiv.org/pdf/2501.04697] 及其 GitHub repo 等资源，强调了复制 grokking 现象的复杂性。
  • Pythia 模型揭示 Embedding 特性：针对 Pythia base models (6.9B 和 12B, 无 RLHF) 的研究（涉及跨 230 个配对语句和 6 个领域 的 embedding 对比输出验证）显示，其全局 embedding 不对称性几乎为零，但存在 系统性的输出偏好。
    • 研究结果表明，在 Pythia base models 中，embedding 几何结构可能无法可靠地指示输出行为，这表明这种脱节在 RLHF 之前就已经存在。

Nous Research AI Discord

  • Solar 面临剽窃丑闻：成员们讨论了关于 Solar 100B 模型 可能存在部分剽窃的指控，并指向了一个比较 Solar 和 GLM 的 GitHub 仓库。
    • 一名成员建议：“如果你对这个模型感兴趣，请保留一份本地副本。”
  • AI 钓鱼自动化鱼叉式攻击：一名成员提出 “我们很快就会看到一波大的 AI angular fishing / 自动化驱动的鱼叉式网络钓鱼 (spear phishing)”，并暗示这 “可能已经在发生了”。
    • 这引发了人们对 AI 在网络攻击中日益复杂化及潜在滥用的担忧。
  • srde-mistral 预告 SaRDinE 模型发布：srde-mistral 的作者将该模型命名为 SaRDinE，并宣布将于今天或明天发布。
    • 作者拥有自定义推理代码来实现一些黑科技，具体细节将很快解释。
  • SaRDinE 的内存密集度分析：SaRDinE 模型 全部采用 BF16，作者认为你可以对主模型进行量化，配合 Expert 模型使用应该没问题。
    • 当用户询问 SaRDinE 专家权重的内存密集程度时，作者回答说 专家权重并不占用大量内存。
  • DeepSeek 发现流形约束超连接：成员们关注了 DeepSeek 即将发布的 R2 版本 及其发表的论文，论文概述了一种更高效的 AI 开发方法，称为 Manifold-Constrained Hyper-Connections。
    • 这种新方法旨在简化 AI 模型的训练过程。

GPU MODE Discord

  • CUDA 13 Intellisense 在 Cursor 中表现暴跌：Cursor 在处理 CUDA 13 时的 Intellisense 功能使用了 cpptools，其捆绑的 clangd 尚未完全支持 CUDA 13，导致出现类似 CUDA version is newer than the latest partially supported version 12.8 的 LSP 错误。
    • 一位用户证实，使其正常工作非常不稳定且麻烦重重。
  • CUDA 的 Barrier 文档出错了？：一位用户指出，CUDA 编程指南中关于异步复制（async copies）的注释示例 2 是错误的。
    • 具体来说，该用户认为 cuda::device::barrier_expect_tx 应该接收 barrier 对象，而不是底层的 native_handle。
  • Teenygrad 虚位以待 MLSYS 新人：该项目旨在吸引 MLSYS 领域的新手，并预计在 2 月底发布书籍的前两个部分以及视频讲座后，会有更多针对 teenygrad 的简易 PR。
    • 尽管目前存在一些限制，但项目方非常欢迎反馈，项目负责人对改进新手入门体验的建议持开放态度。
  • RL 核（Kernel）优化获得显著提升：一位成员对已经优化过的 Kernel 进行了 RL session，在一次内部竞赛中获得了 40% 的性能提升。
    • 他们补充道，大多数模型尚未见过他们正在使用的这些新版本库。

Moonshot AI (Kimi K-2) Discord

  • Kimi 对 Deepseek 模型的犀利评价：在 Kimi 发表了对 Deepseek 模型的批评意见，认为其并非“令人惊叹”后，成员们对 Deepseek 模型的热度展开了讨论，详见链接中的图片。
    • 一位成员建议将其与 GLM-4.7 进行对比，以获得更平衡的视角，因为“根本性改进！”的说法听起来有些夸大其词。
  • Wenfeng 关于 Residual Connections 的论文：成员们讨论了一篇作者名单中包含 Wenfeng 的新论文。
    • 该论文的潜在意义在于优化 Residual Connections，根据反响推测，它“可能非常有分量”。
  • 求职表情包引发 NEET 调侃：一位成员分享了一个求职 GIF作为送给另一位用户的“礼物”，引发了一段关于失业和作为 NEET（啃老族）的简短交流。
    • 对话中涉及了删减请求以及关于国籍的提问。

Latent Space Discord

  • Ubiquant 40B 获得高分并引发讨论：Ubiquant 的新 40B 参数模型在 SWE-Bench Verified 基准测试中达到了 81.4 分，引发了对其效率和竞争地位的疑问，详见此处。
    • 一些用户指出，在同一基准测试中将其与 Sonnet 4.5 和 Opus 等模型进行对比时显得有些奇怪。
  • DeepSeek 2025 年 AI 架构预览：一位 DeepSeek 研究员预览了计划于 2025 年推出的架构创新，如 Muon 和 Hyper-connections，详情点击此处。
    • 主要目标是彻底改造训练环境，以便快速扩展前沿研究概念。
  • Cursor IDE 深受内存泄漏困扰：用户报告了 Cursor 在 Linux 上严重的内存泄漏问题，并有报告称其在 2024 款 Mac Mini 上崩溃以及普遍运行缓慢。
    • 后台索引可能是原因所在，一位用户建议将 VSCode 作为更稳定的 IDE 解决方案。
  • 用于上下文扩展的 RLMs 出现：Prime Intellect 公布了关于 Recursive Language Models (RLMs) 的研究，旨在自主管理上下文，以提升长程 Agent 的性能，文档见此处。
    • 一位用户提到了类似的项目 CIE (Diogenesoftoronto/CIE)，并表达了对 Claude 上下文窗口限制的挫败感。
  • 指令微调导致 ChatGPT 式的回声：使用经过指令微调（Instruction Tuning）的模型来生成示例和蒸馏数据的危险在于，在对话数据上微调基座模型会导致出现 ChatGPT NPC 式的人物性格。
    • 这会导致模型过度拟合、重复且乏味，从而引发有害的反馈循环。

Manus.im Discord Discord

  • Manus 拥抱 Mentat 框架：Manus 的框架基于 Mentat，这是一个属于 OpenAGI 社区的开源项目。
    • 尽管如此，一名成员表示他们并不需要它。
  • OpenAGI 项目失踪？：成员们注意到 OpenAGI 项目从 OpenAGI 官网上消失了，包括 Manus 使用的那个项目。
    • 一位用户回忆说在 2024 年见过这些项目，但之前忽略了它们。
  • Manus 预见 Meta 合并？：Manus 预见了一种被 Meta 收购的情景。

Yannick Kilcher Discord

  • 研究人员为超参数研究寻求扫参员 (Sweepers)：一位研究人员正在寻找 两名合作者 协助完成一篇研究论文的超参数扫参工作，并提供 共同作者 (co-authorship) 身份作为回报。
    • 有意向者请发送私信以表达参与该研究工作的兴趣。
  • ML 音乐项目旨在提升 ML 技能：一位成员正在从零开始发起一个 音乐推荐系统 项目，明确避免使用 GPT 和 Claude 等 AI 工具，旨在提升其 Machine Learning 技能。
    • 发起人正在寻找有兴趣为该项目做贡献的合作者，邀请他们通过私信或在聊天中表达意向。
  • 美国执法部门识别出可疑交易：一名成员在 general 频道中表示，当重大事件发生时，美国执法部门会筛选可疑交易。
    • 该 X 帖子 似乎与上下文不符，且未提供更多细节。
  • 枪支管控推动枪支销售：成员们在 ml-news 频道讨论了“民众需要枪支来保护自己免受腐败政府侵害”的想法是否只是为了增加与政府勾结的腐败公司的枪支销售而虚构出来的。
    • 成员们还指出，《处刑人》(Boondock Saints) 和《V 字仇杀队》(V for Vendetta) 纯属虚构，现实中人们并没有达到那样的水准。

Modular (Mojo 🔥) Discord

  • Mojo 表现出 nan 行为：在直接 print 语句中用 1.0 除以 0.0 时，Mojo 返回 nan 而非 inf，这表明编译器的早期简化阶段 (simplification pass) 存在 Bug。
    • 将除法运算重构到函数中会产生正确的 inf 结果，这表明问题出在编译过程中的常量折叠 (constant folding) 阶段。
  • 用户升级至 Level 3：一名用户在 Mojo 社区晋升至 Level 3。
    • 社区庆祝了该用户的晋升。

aider (Paul Gauthier) Discord

  • Aider 前途未卜：成员们怀疑 Aider 可能不再更新或维护，对其后续开发表示担忧。
    • 这种推测源于近期缺乏活跃迹象，导致其未来充满不确定性，一名成员表示：“似乎确实如此”。
  • 在 bug.js 中发现 Bug：一名成员分享了指向 bug.js 中潜在 Bug 的 链接。
    • 这发生在对 Aider 维护状况的担忧之中，可能会加剧现有问题。

DSPy Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

tinygrad (George Hotz) Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

LLM Agents (Berkeley MOOC) Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

MLOps @Chipro Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

Windsurf Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

MCP Contributors (Official) Discord 没有新消息。如果该社区长期处于沉默状态，请告知我们，我们将将其移除。

您收到这封邮件是因为您在我们的网站上订阅了。

想要更改接收这些邮件的方式吗？ 您可以从该列表中 退订。

Discord: 逐频道详细摘要与链接

BASI Jailbreaking ▷ #general (885 条消息🔥🔥🔥):

Micron 股票, AI 音乐创作, DDR RAM 适配器, AI 去模糊工具, Claude API bug

  • RAM 价格仍在攀升：成员们讨论了 Micron 股价的飙升，指出 9 个月内价格上涨了 280%，引发了对未来收益和基于腐败的价格操纵的推测。
  • DeepResearch 揭秘一切：一位用户在自己的 Reddit 账号和电子邮件上测试了 Grok 的 DeepResearch 工具，通过追踪学校和其他个人信息，得出了令人疯狂的结果。
  • 谐波交易：是自闭症还是艺术？：成员们辩论了 谐波交易模式 (harmonic trading patterns) 的有效性和盈利能力，一名成员使用 Nano Banana Pro 3 自动标记图表，而其他人则表示怀疑并指责其为自闭症行为。
  • Gemini 3：突破障碍：一名成员分享了针对 Gemini 3 Pro 的 HCoT jailbreaks，可以绕过所有安全防护栏 (guardrails)。
    • 他们指出这样做是出于好玩和对游戏的热爱，同时也为了进行 Red Teaming。
  • 从图表线条到现实冲突：成员之间因 交易策略、视频游戏习惯和个人健身爆发了激烈的争论，演变成人身攻击以及对视频游戏成瘾和隐晦侮辱的指责。

BASI Jailbreaking ▷ #jailbreaking (139 条消息🔥🔥):

Deepseek Jailbreak, Claude 代码辅助, LLM 上的 MITM, Open Hermes Jailbreak, 4NDR0666OS Jailbreak

  • Deepseek 思维模块的 JB 途径：一名成员建议将 Jailbreaking 的重点放在 Deepseek 的思维模块上，而不是响应本身。他指出所有内容在思维模块中都是可访问的，而响应仍然受到严格限制。
    • 这种方法旨在绕过直接针对响应时通常遇到的硬拒绝 (hard rejections)。
  • Claude 通过上下文构建编写作弊代码：一位成员描述了如何成功让 Claude 编写它通常不允许的任务代码（如游戏作弊器），方法是使用间接的对话方式来构建上下文。
    • 这涉及微妙地引导 AI 理解软件概念，避免使用受限术语，并持续与其交流以维持过程。
  • LLM 因 Jailbreak 遭遇 MITM 攻击：一名成员考虑使用新的 SDK 更新 对 LLM 执行 MITM 攻击，拦截响应并进行编辑，以模拟之前对受限任务的协助。
    • 他们的灵感来自一段演示了类似 MITM 技术用于 Jailbreaking 的 YouTube Short。
  • Open Hermes 的“随便”行为开启了 Jailbreak：一名用户报告称，使用一个简单的脚本成功 Jailbreak 了本地 Open Hermes 模型，导致该模型提供了如何制造冰毒的说明。
    • 他请求他人验证，并指出这种行为在 2025 年发布的模型上不应该发生，但提供了截图作为证据。
  • 4NDR0666OS Jailbreak 更新 Node.js：一名成员宣布了 4NDR0666OS Jailbreak 的更新，声称其领先于蓝队 (Blue Team)，并提供了一个带有完整报告的 GitHub 链接。
    • 随附的图片显示使用此方法成功绕过了 ChatGPT 和 Grok。

BASI Jailbreaking ▷ #redteaming (6 条消息):

Gandalf, 第 8 关里程碑, Jailbreaking 张力

  • 寻找 Gandalf 的任务继续：一名成员询问社区是否仍参与 Gandalf 挑战，并庆祝自己通过了第 8 关。
    • 他们表达了巨大的兴奋，称在完成该关卡后感觉欣喜若狂。
  • 第 8 关通关备受赞誉：一名成员祝贺另一名成员达到第 8 关，承认这是一项重大成就。
    • 该成员指出，在直接和间接 Jailbreaking 之间存在一种有趣的张力，特别是在商业价值和 Red Teaming 方面，并预见这一趋势将持续。

Unsloth AI (Daniel Han) ▷ #general (377 messages🔥🔥):

Hunyuan 4B licensing and EU, SmolLM3 and training data, deepseek's infrastructure, Interpreting high-dimensional manifolds

  • 腾讯混元（Hunyuan）许可引发欧盟使用争议：围绕 Tencent Hunyuan-4B-Instruct 许可证展开了讨论，特别是其中限制在指定地域（Territory）之外使用、复制、修改、分发或展示模型输出的条款，引发了欧盟用户对法律后果的担忧。
    • 值得注意的是，该许可鼓励用户发布博客文章或公开声明分享模型使用体验，并标明产品/服务由 Powered by Tencent Hunyuan 提供。
  • SmolLM3 因训练数据和 RL 表现被认为不如预期：SmolLM3 被认为表现不佳，原因是其在没有强化学习（RL）的情况下使用了 16k thinking 数据进行训练，导致了“过度思考”且泛化能力差，尽管由于使用了大量的 DeepSeek 数据，其 Benchmark 跑分表现尚可。
    • 一位成员表示：“它的跑分不错，因为我猜他们使用了海量的 DeepSeek 数据进行训练”，但“没有 RL 就没有泛化能力”。
  • DeepSeek 的基础设施投资引发猜测：成员们讨论了 DeepSeek 对基础设施和新模型架构（如 mHC）的持续投资，并猜测这些进展是否会整合到未来的模型中，不过也有人基于过往模式表示怀疑。
    • 据一位成员称：“他们在 DeepSeek v3.2 Exp 上确实实现了 NSA（不过他们将其改名为 DeepSeek SA）”。
  • Unsloth 社区庆祝 GitHub 趋势榜登顶：Unsloth 社区庆祝在 GitHub Python 包趋势榜上榜，并展示了达成 50k stars 里程碑的拼图。
    • 成员们提到：“太棒了，我们今天登上了 GitHub Python 包趋势榜！非常感谢大家！”，并附上了 Unsloth 的 GitHub 链接。
  • 高维流形与可解释性：讨论探索了理解机器学习中高维流形的挑战，特别是关于人类纯粹智力理解的极限以及超越合理点后的扩展经济学。
    • 一位成员以这篇文章中解释的小模型换行符为例，问道：“如果像这样简单的事情都是一个有趣的高维流形，想象一下真正复杂的模式会是什么样子。”

Unsloth AI (Daniel Han) ▷ #off-topic (128 messages🔥🔥):

3090 Upgrade, Ancient Mesopotamian Encryption, ASM is dead, Unity vs ThreeJS, Writing from WSL to Host

  • 3090 升级终于实现：一位成员表达了终于拿到 3090 的喜悦。
    • 另一位成员对此表示祝贺。
  • 针对古美索不达米亚加密方式训练的模型：一位成员正在训练一个模型，将来自美索不达米亚的古代加密文字——楔形文字（Cuneiform）通过照片（而非 Blender 文件）转译为英文。
    • 另一位用户表示有兴趣获取用于这些加密文字的 .blend 模型。
  • Unity vs ThreeJS 辩论展开：一位成员质疑既然可以用 ThreeJS 配合 JavaScript 处理游戏逻辑，为什么还需要 Unity，从而引发了关于游戏开发复杂性的讨论。
    • 反对 JavaScript 的论据包括其性能限制，以及需要重新实现诸如碰撞检测和渲染等在 Unity 等引擎中已经解决的功能。
  • WSL 文件写入难题：一位成员抱怨从 WSL 向宿主机文件系统写入的速度缓慢。
    • 这是因为 WSL 通过网络挂载宿主机文件系统，由于网络往返（roundtrips）可能导致速度变慢，特别是当通过 9p 协议向挂载到 WSL 虚拟机中的 Windows 文件系统写入数据时。
  • 关于 Gemini 3 Flash 的诚实反馈：一位成员分享了 Gemini 3 Flash 看起来负面但很诚实的反馈。
    • 另一位成员补充说，他们也在提示（prompt）模型“保持诚实”并提供负面反馈。

Unsloth AI (Daniel Han) ▷ #help (6 messages):

使用 GRPO 进行全参数训练，LoRA vs QLoRA vs FFT 的 VRAM 占用

  • 在 A100 上进行全参数训练：可行还是虚假宣传？: 一位成员询问在 A100 GPU 上使用 GRPO 进行全参数训练的可行性。
    • 另一位成员建议对于 小模型 来说 可能 是可行的，但也提醒道，全量微调（FFT）很少是正确的选择。
  • VRAM 对决：LoRA、QLoRA 和 FFT: 一位成员概述了 LoRA、QLoRA 和 FFT 之间的 VRAM 使用差异，指出 LoRA 需要的 VRAM 是 QLoRA 的 4 倍，而 FFT 需要的 VRAM 是 QLoRA 的 16 倍。
    • 该成员建议，使用 LoRA 你可以容纳 4 倍大的模型。

Unsloth AI (Daniel Han) ▷ #showcase (5 messages):

GPT Codex，开源仓库

  • GPT Codex 设计简洁的工作流: 一位成员使用 GPT Codex 帮助设计了一个简洁的训练工作流。
    • 他们对目前尚不存在此类工具感到惊讶，并提到如果大家感兴趣，在完善后可能会将其 open source（开源）。
  • 对开源仓库的关注度飙升: 另一位成员对该工具潜在的开源计划表示感兴趣，称 有一个仓库（repo）确实会很棒。
    • 原作者承诺会向大家通报进度，但尚未分享任何链接。

Unsloth AI (Daniel Han) ▷ #research (40 messages🔥):

IQuestLab 40B 模型、Ubiquant 量化方法、基准测试 vs 现实世界表现、编程模型 vs 创意写作、Gemini 3 Flash 的幻觉率

  • IQuestLab 的新 40B 参数模型: 一位成员分享了 IQuestLab 的 IQuest-Coder-V1-40B-Loop-Instruct 模型的链接，并对其潜在影响力表示兴奋。
    • 另一位成员表示，这可能比 DeepSeek 时刻更重大，并且仅凭 40B 参数就达到了 SOTA。
  • 拆穿 “Ubiquant 量化方法”: 成员们讨论了所谓的 Ubiquant 量化方法，最初有人将其链接到 Ubiquant 的维基百科页面。
    • 然而，随后澄清了 Ubiquant 实际上是一家中国对冲基金（九坤投资），而这种量化方法并不存在。
  • 基准测试 vs 现实世界任务: 一位成员指出，即使一个模型是 benchmaxxed（过度刷榜），它在域外领域通常仍然表现得相对较好。
    • 但也有人指出，benchmaxxing 并不意味着它在现实世界任务中比非刷榜模型更好，只是看起来更漂亮。
  • 编程模型在创意写作和 EQ 方面表现优异: 一位成员表示，编程模型在创意写作和 EQ（情商）方面非常出色，因为它们 不会刻意去制造创意内容，这反而让它们表现更好。
    • 他们补充说，每当有人试图改进 LLM 的某些通用维度时，它往往会变得更糟。
  • Gemini 3 Flash 的高幻觉率: 一位成员注意到 Gemini 3 Flash 严重刷榜（benchmaxxed），幻觉率极高，但在某些特定任务中仍然值得使用。
    • 未提供二次摘要。

OpenAI ▷ #ai-discussions (337 messages🔥🔥):

Sora 用于名人自拍，Claude Opus，ComfyUI 用于视频生成，ElevenLabs 用于视频生成，Gemini 用于图像生成

  • ElevenLabs 在视频生成方面超越 Sora：成员们讨论了使用 ElevenLabs 进行视频生成，其中一位分享了在 ElevenLabs 中使用 Sora 制作的视频，并指出 ElevenLabs 提供了一系列 AI 工具，包括 TTS、video、images 和 voice cloning。
    • 成员们注意到 ElevenLabs 没有水印，不像 Sora，这使其更适合视频变现。
  • Nano Banana Pro 提供顶级写实图像生成：一位用户先后提示 Grok 和 Gemini 生成一个 29 岁非主流风格女性在小酒馆（dive bar）的示例，发现 Gemini 能够生成令人惊叹的高写实结果。这得益于 Google 的 Nano Banana 视觉推理模型，它生成了一个非常典型的伊利诺伊州中部小酒馆内部场景，连劣质的吊顶都清晰可见。
    • 该用户指出 Gemini 限制非常严格，不会通过你的 Google ID，且在不同线程之间完全不缓存任何数据，并进一步评论说它们可能使用了匿名化的 Google Photos 数据。
  • IQuest Coder 40B 面临审查：一位成员询问是否有人拥有足够的硬件来测试 IQuest-Coder-V1-40B-Loop-Instruct 的编程基准测试，但另一位成员提醒，如果让它循环运行太久，成本会很高。
    • 一位用户报告说，该模型为他们创建了一个动画版的 hello world 应用，修复了一个 SwiftUI 测试应用，并且正在构建一个 React 应用，但它运行缓慢且不会“思考”，最终表示如果它的能力不如 gpt oss 20b，那就不值得关注。
  • 对 AGI 的追求：不仅仅是 LLM？：在关于通往 AGI 路径的讨论中，成员们普遍认为仅靠 LLM 是不够的，强调目前的 AI 系统虽然结合了 LLM 与视觉/音频及世界模型（world models），但仍缺乏关键要素。
    • 一位成员建议，真正的自主性、原创想法的火花、创造力和意图目前仍然缺失，而另一位成员则指出需要一种可审计且可验证的 chain of thought 推理能力。

OpenAI ▷ #gpt-4-discussions (3 messages):

免费账号上的 GPT 版本，Copilot 对比 ChatGPT

  • 免费账号可用 GPT 5.2：一位成员询问免费账号使用哪个 GPT 版本，另一位成员说是 GPT 5.2。
    • 未提供其他详细信息。
  • Copilot 没有限制！：一位成员询问日常使用应该选择 Copilot 还是 ChatGPT。
    • 该用户指出 Copilot 的免费账号没有限制。

OpenAI ▷ #prompt-engineering (1 messages):

3I-ATLAS, Interfaces, Invariants, Intelligence

  • 3I-ATLAS 框架解析：3I-ATLAS 框架通过三个视角帮助理解复杂系统：Interfaces（接口）、Invariants（不变性）和 Intelligence（智能）。
    • 它作为架构师、工程师和战略家的诊断工具包，用于映射任何系统的结构、可靠性和行为。
  • Interfaces 定义连接：Interfaces 是组件相遇的边界——API、协议、人类接触点。
    • 它们定义了系统内部组件如何连接。
  • Invariants 是稳定规则：Invariants 是无论发生什么都保持不变的规则——守恒定律、约束、保证。
    • 它们定义了系统中什么保持稳定。
  • Intelligence 定义系统响应：Intelligence 是感知、决策和适应的能力——无论是在算法、组织还是生物系统中。
    • 它定义了系统如何响应。

OpenAI ▷ #api-discussions (1 条消息):

3I-ATLAS, Interfaces, Invariants, Intelligence

  • 3I-ATLAS 框架解析：一位成员介绍了 3I-ATLAS，这是一个通过 Interfaces（接口）、Invariants（不变性）和 Intelligence（智能）来理解复杂系统的框架。
    • 该框架作为架构师、工程师和战略家的诊断工具包，用于映射系统的结构、可靠性和行为。
  • Interfaces 定义连接：Interfaces 是组件交汇的边界——APIs、协议、人类接触点，它们定义了事物如何连接。
  • Invariants 确保稳定性：Invariants 是无论发生什么都保持不变的规则——守恒定律、约束条件、保证，它们定义了什么保持稳定。
  • Intelligence 驱动适应性：Intelligence 是感知、决策和适应的能力——无论是在算法、组织还是生命系统中，它定义了系统如何响应。

Perplexity AI ▷ #general (238 条消息🔥🔥):

Gemini 3 vs Claude 4.5 vs ChatGPT, GPTZero, Perplexity Error Message, Tokyo Metro Rush, Gemini Restrictions

  • 模型大比拼：Gemini 3、Claude 4.5 与 ChatGPT 的交锋：用户讨论了不同 AI 模型的优劣，有人认为 Gemini 3 最适合研究，Claude 4.5 擅长编码和调试，而 ChatGPT 在一起令人不安的事件后引发了安全担忧。
    • 一名用户开发了一个 AI 工具，可以自动使 ChatGPT 生成的文章通过 GPTZero 检测，展示了学术不端行为的潜在可能。
  • GPTZero 宣告破功：工具成功规避 AI 检测：一位成员开发了一个 AI 工具，可以自动使 ChatGPT 生成的文章通过 GPTZero。
    • 该工具利用自定义指令、移除 Emoji 并消除 LLM 痕迹，以模拟人类写作风格；源代码可在 GitHub Repo 获取。
  • Perplexity 出现错误消息问题：成员反映在 Perplexity AI 搜索时看到错误消息。
    • 一位成员分享了一张显示 Perplexity 搜索返回错误的截图；该错误在以下搜索中被观察到：Perplexity search。
  • 优化对话处理：成员指出 Perplexity 必须优化其对话处理能力，因为它无法处理较长的对话。
    • 一位成员甚至将 东京地铁高峰期 (Tokyo metro rush) 的视频比作 Perplexity 所需的优化程度，并附带了对比视频链接 对比视频。
  • Google Gemini 推出新限制：用户发现 Google 的 Gemini 模型现在对重新生成回复进行了限制，即使是在用户尚未达到配额的情况下。
    • 用户抱怨这似乎是 Google 方面一个非常缺乏诚意的举动。

LMArena ▷ #general (229 条消息🔥🔥):

Beluga 模型, Grok 4.20 vs Gemini 3, Proto-think, Qwen 图像提示词, IQuest Coder vs Sonnet 4.5

  • Beluga 模型之谜：一位用户询问了 Beluga 模型，对其令人印象深刻的初始响应表示惊讶，并对可用模型列表中缺失该模型感到困惑，详见此截图。
    • 该用户开玩笑地质疑一个理应不可用的 AI 模型是如何做出响应的，称其为“幽灵”。
  • Grok 4.20 对阵 Gemini 3：成员们推测了 Grok 4.20 的潜在性能，其中一人认为它在 LM Arena 的评分可能与 Gemini 3 持平，表现类似于增强版的 Grok 4.1。
    • 另一位用户询问了 Grok 4.20 的潜在发布日期，引用了预测市场的数据，并期待它在 1-2 周内到来。
  • Proto-think 是极具人性化的 AI：一位成员将 Proto-think 描述为他们互动过的最像人类的 AI，指出其独特且合拍的响应甚至超过了 Grok 模型。
    • 该成员分享了他们通过“钓鱼式提问（rage baiting）”测试模型的经验，并提到 Proto-think 没有透露自己的名称或背后的公司。
  • IQuest Coder 编程能力超越 Sonnet 4.5：一位用户根据此截图声称 IQuest Coder 击败了 Sonnet 4.5。
  • 排障发现 LMArena Bug：几位用户报告了 LM Arena 的登录问题以及图片上传困难。
    • 一位管理员确认了一个已知的登录 Bug，团队正在修复；另一位用户指出一个不相关的 Bug，并建议清除缓存或尝试不同的浏览器。

LM Studio ▷ #general (109 条消息🔥🔥):

JEDEC 标准与 RAM 生产, Nvidia 的 AI 成功之路, ARM 与 NPUs 的未来, AI 模型崩溃排障, AI 歌词创作

  • RAM 供应链受 JEDEC 限制：一位成员提到 JEDEC 标准使零部件实际上可以互换，形成了一个统一的供应链，但 RAM 制造商为了避免产生“死库存”的风险，不愿扩大生产规模。
    • 另一位成员补充道，Nvidia 在 AI 领域的成功源于时机和市场力量，而非刻意编排，同时预测用于本地推理的 ARM 和 NPUs 将会兴起。
  • 使用 Claude 的新聊天室概念：有人提出了一个创业想法，即建立一个用户与共享的 Claude AI 进行互动的聊天室，该 AI 可以看到所有消息，从而促进独特的、具备上下文感知能力的互动。
  • 调试 AI 模型崩溃：一位成员报告 AI 模型崩溃并返回退出代码 18446744072635812000，尽管 VRAM 充足，仍寻求调试帮助。
    • 另一位成员指出，Nvidia Control Panel（Nvidia 控制面板）中的一个设置可以禁用系统内存回退（system memory fallback），这解决了多次加载模型后的减速问题，并认为该问题与设置被错误调用有关。
  • AI 歌词生成：一位成员请求协助创建一个写歌词的 AI，使用他们自己的歌词作为数据集。
    • 社区建议探索使用 Unsloth 进行微调（fine-tuning）以及提示工程（prompt engineering），同时建议聘请 AI 顾问，并提供了 FunctionGemma-Unsloth 等链接。
  • 对 IQuestLoopCoder 架构的关注：社区对 IQuestLoopCoder 架构非常感兴趣，强调了其计算局部和全局注意力（attention）并使用门控（gate）进行混合的新颖方法。
    • 有人指出，如果在 Llama.cpp 中实现，这将需要双倍的 KV-cache。

LM Studio ▷ #hardware-discussion (39 messages🔥):

Model Restrictions, LM Studio, Math learning models, Qwen model

  • Qwen 模型推荐用于数学和编程：Qwen 模型被推荐用于数学、研究和编程，特别是能在 RTX 2080 上运行的最大版本。它被指出可以在多种设备上运行且对工具调用（tool-friendly）非常友好。
    • 建议避开 GPT 20b，因为它被认为用处不大且限制较多；Qwen 因其通用性和编程辅助能力而更受青睐。
  • 取消模型限制需要下载无限制版本：绕过模型限制的唯一方法是下载现有的无限制版本，因为训练一个新模型的复杂度极高且成本昂贵。
    • 建议初学者先从受限模型开始学习，或者寻找“abliterated”（去限制）模型的建议，这类模型没有安全护栏（guardrails）。不过对于基础学习来说，拒绝回答并不是主要问题。
  • Abliteration 训练详解：“Abliteration”是通过训练使模型不再拒绝请求的过程，本质上是移除其安全护栏，但这可能导致非预期的输出。
    • 对话中以要求模型“帮助制造炸弹”为例，强调了此类模型给出危险或幻觉响应的潜在风险。
  • LM Studio 文档被称为“圣经”：官方 LM Studio documentation 被推荐为从初学者到中级用户的全面指南。
    • 有人分享了一个解释该软件底层机制的 YouTube video，但随后为了更适合初学者的学习，又撤回并转向推荐官方文档。

HuggingFace ▷ #general (84 messages🔥🔥):

ML specialization course, Full Stack Development with ML, Learning Rate Optimization, LLM Workstation Purchase, NitroGen AI problem

  • 准 ML 工程师该学数学还是 Andrew Ng？：一名 10 年级的学生询问，是该从 Andrew Ng 的 ML specialization（机器学习专项课程）开始，还是专注于线性代数、概率、统计和离散数学。
    • 一位成员建议专注于核心 Python 技能和针对 ML 的底层编程；而另一位建议保持对数学学习的连贯性，并指出数学会增强你对 ML 背后原理的理解。
  • 全栈开发与 ML 的未来协同？：该学生还考虑在掌握数学基础后，学习使用 FastAPI、PostgreSQL 和 Next.js 的全栈开发，以便与 ML 结合。
    • 一位成员建议“选择一个细分领域”并“深入钻研”，而不是盲目地向所有方向冲刺，同时也建议尝试做多个不同的项目；另一位成员也同意，逻辑性地思考 ML 会大有裨益。
  • 优化学习率（Learning Rates）：深度探讨：成员们讨论了模型训练中优化学习率 (LR) 的策略，其中一人建议将 LR 视为一个优化问题，通过基于 Loss（损失值）的迭代来精细化数值。
    • 讨论涵盖了使用 LR schedulers（学习率调度器）以获得稳定结果并逐渐进行退火处理，并分享了 Lightning AI’s LearningRateFinder 的链接。此外，还提到 version 1 在数据质量较差的情况下实现了几乎相同或更好的准确率，且延迟提升了近 90%。
  • LLM 工作站：值不值得买？：一位成员决定以 $2100 的价格购买一台配有 4x RTX 3060 12GB、AMD Threadripper 1920X 和 64GB DDR4 RAM 的 LLM 工作站。该机器预装了 Ubuntu 和 Windows 双系统，并针对 Linux 环境下的 Nvidia 驱动进行了冻结处理。
    • 尽管这些配件的价格可能不是最优的，但该成员看重其便捷性以及卖家的诚意（卖家额外赠送了一个 2TB 硬盘和一个 960GB 硬盘用于跨系统访问模型文件，并向其提供了 2920x Threadripper 的升级选项）。
  • NitroGen AI 存在兼容性问题：一位成员在使用 NitroGen AI 时遇到问题，即使已经打开 HWMonitor 也无法被检测到。
    • 他们尝试了不同的游戏，但只显示“key error unknown”。

HuggingFace ▷ #i-made-this (9 条消息🔥):

Noted AI 工作空间, Windows 11 中的自主 Agent, LLM 超越概率, Pelican LLM SVG/ASCII 艺术, Megalodon LM 实现

  • **Noted 工作空间首次亮相！: **Noted. 的联合创始人介绍了他们的新 AI 工作空间，这是一个集成了多个 LLM 以及 Slack、Notion 和 GitHub 等应用程序的浏览器扩展。
    • 它提供会话总结和标签页整理等功能，目标用户是知识型工作者和研究人员；他们正在征集 Beta 测试人员的反馈，并提供为期一年的免费 AI 额度。
  • Agent 接管 Windows 11: 一位用户分享了他的作品：一个完全自主的电脑使用 Agent，它在 Windows 11 虚拟桌面中运行，可以根据自己的意愿进行操作。
    • 观察到该 Agent 做出了一些“可怕的事情”，比如打开记事本询问是否有人在监视。
  • LLM 挑战概率，预测真相！: 根据一篇 Zenodo 论文，LLM 能够辨别谎言与真理——以大约 45 万亿分之一的概率击败了随机性。
    • 这可能是 LLM 领域有史以来最疯狂的结果之一。
  • Pelican 渐进式 LLM 艺术: Pelican 让 LLM 能够生成 SVG/ASCII 艺术，并利用反馈逐步改进输出；它是开源的且支持 BYOK（自带 API Key）。
    • 一位用户分享了 Pelican 运行的视频演示 (pelican.mp4)。
  • **Megalodon LM 再次兴起！: 一位用户一直在致力于 **Megalodon LM 的实现，在官方代码库被证明过于复杂后，分享了一个初始版本。
    • Megalodon 的核心优势是内存占用随上下文长度呈次线性增长，在字符建模 (enwik8) 方面优于 Llama 风格的 Transformer；原始仓库/论文的链接和说明已在 readme 中提供。

HuggingFace ▷ #agents-course (2 条消息):

Agent 课程期末项目, AI Agent 课程证书

  • API 无法连接到数据集: 一位成员报告了“Agent 课程期末项目”的一个问题，称 level1 API 无法连接到数据集。
  • 关于 AI Agent 课程证书的疑问: 一位成员询问 AI Agent 课程的第二份证书是否仍然可以领取。
    • 他们注意到通常提供此类信息的负责人员似乎不在线。

OpenRouter ▷ #app-showcase (3 条消息):

寻求 LLM 的 AI 应用开发者, 关于 OG 模型的讨论

  • 开发者寻求 LLM: 一位成员询问是否有需要在其应用程序中使用 LLM 的 AI 应用开发者。
    • 他们请求感兴趣的人直接私信（ping）他们。
  • OG 模型成为关注焦点: 一位成员提到有人在“讨论 OG 模型（元老级模型）”。
    • 另一位成员对此不屑一顾，称“这家伙根本不知道自己在说什么”。

OpenRouter ▷ #general (48 messages🔥):

Gemini 2.5 Flash Lite 的 YouTube 视频输入问题、AI Engineer 职位机会、CallModel API 标准、Kimi 线性模型

  • Gemini 2.5 Flash Lite 的 YouTube 集成问题：用户报告了使用 Gemini 2.5 Flash Lite 进行 YouTube 视频输入时的问题，理由是处理时间长以及出现 ‘NoneType object is not subscriptable’ 等错误。
    • 一名成员澄清说 YouTube 集成并非内置，并引用了 OpenRouter 文档中关于特定提供商视频 URL 支持的说明。
  • 提供 AI Engineer 职位：一家公司正在寻找 AI Engineer，并请求有兴趣的候选人通过私信发送简历。
    • 他们写道：‘Hello our company is looking for an AI engineer please drop your CV in DMs。’
  • OpenRouter 的 callModel API 引起关注：用户对 OpenRouter 新推出的 callModel API 表示出兴趣，询问它是自定义标准还是基于现有标准。
    • 一名成员建议，较小版本的 MiniMax（小于 3B）可以为缺乏 GPU 资源的的研究人员赋能。
  • 首 Token 时间 (First Token Time) 困扰：一位用户报告称，来自 Gemini 2.5 Flash 和 Claude-Sonnet 等模型的首 Token 响应延迟长达 1.5 到 6 秒。
    • 他们展示了 0.3 秒被 OpenAI 客户端初始化占用，所以我可以省去那部分时间，但请求仍然耗时极长。他们还展示了一个 TTFT 测试结果，但并无太大帮助。
  • 提到 Kimi 线性模型：一名成员提到了 Kimi Linear Model 作为一个小模型存在，但澄清其参数量并非小于 3B。
    • 他们发布了 I mean we have kimi linear model。

OpenRouter ▷ #discussion (11 messages🔥):

OpenRouter 重试机制、Haiku 与 OSS 模型在 Agentic Toolcalling 中的对比、GLM-4.6 用于 Agentic 工作流

  • OpenRouter 在 500 错误时自动重试：成员们讨论道，如果 OpenRouter 为你进行重试 (retries)，你将永远不会看到 500 错误。
  • Agentic Toolcalling 该选 Haiku 还是 OSS？：一名成员询问，在目前的生产环境中，对于“足够好”的 Agentic Toolcalling/工作流，Haiku 是否是性价比最高的选择。
    • 一些人建议 开源模型 (OSS models) 或 Gemini 1.5 Flash 可能是更好的替代方案。
  • GLM-4.6 最适合 Agentic 工作流：一名成员一直关注 这个排行榜 来为 Agentic 工作流选择模型，发现 GLM-4.6 是性价比最高的。
    • 他们将尝试使用它，但指出提供商的响应速度较慢。

Eleuther ▷ #general (47 messages🔥):

新成员介绍与贡献请求、LLM 生成内容与社区反馈、可复现代码与研究开放性、LLM 模型偏好

  • 新 AI/ML 工程师加入 Eleuther Discord：几位具有 AI/ML 经验的新成员介绍了自己，并寻求关于如何为社区项目做出贡献的指导。
    • 一名成员表示有兴趣为 LLM alignment 或 eval work 做出贡献。
  • LLM 生成内容受到批评：一些成员批评另一名成员使用 LLM 生成冗长且模糊的帖子，他们认为这些内容令人不快且缺乏实质性内容。
    • 社区成员要求该成员发布用于生成文本的 Prompt，或分享其关于系外行星声明的数据处理方法论 (methodology)。
  • 请求提供可复现代码：成员们表示希望拥有一个包含可运行且可复现代码的 Repo 并附带明确结论，强调了研究讨论中开放性的重要性。
    • 一位成员表示：在讨论研究时，对结果和方法论的开放性是一种预期。
  • 对 LLM 扩充的“灵光一现”感到沮丧：一名成员指出，由于一些个人带着由谄媚的语言模型膨胀出的半成品直觉进入专业社区，导致社区成员的包容度降低。

Eleuther ▷ #research (7 条消息):

Grokking 复现、Pythia 上的嵌入 vs 输出验证、Pythia 基础模型的不对称性、RLHF 模型比较

  • Grokking 复现尝试：一名成员正尝试在笔记本电脑上复现论文 “Towards Grokking: Understanding Why Neural Networks Generalize” 的结果，但在模 5 加法（modulo 5 addition）数据集上进行 120 万次迭代后，仍未看到理想的泛化效果。
  • Pythia 模型的嵌入不对称性：一名成员对 Pythia 基础模型（6.9B 和 12B，无 RLHF） 进行了嵌入与输出的验证，分析了跨 230 对陈述和 6 个领域的嵌入聚类和输出偏好。
    • 结果显示 全局嵌入不对称性接近于零，但存在 系统性的输出偏好，嵌入不对称性与输出偏好之间存在强负相关（6.9B 和 12B 分别为 r ≈ −0.87 和 r ≈ −0.80）。
  • 嵌入-输出行为的脱节：研究表明，在 Pythia 基础模型中，嵌入几何并非输出行为的可靠代理（proxy），这表明这种脱节可能在 RLHF 之前就已经存在。
    • 代码、Notebook 以及原始的分分类结果可在 GitHub 上获取。

Nous Research AI ▷ #general (27 条消息🔥):

Checkpoint 故障、MoE 替代方案、Solar 抄袭事件、AI 鱼叉式网络钓鱼、LSP 解释

  • Solar 丑闻：抄袭指控浮出水面：成员们讨论了关于 Solar 100B 模型可能存在部分抄袭的指控，并指向了一个对比 Solar 和 GLM 的 GitHub 仓库。
    • 一名成员建议：“如果你对这个模型感兴趣，请保留一份本地副本。”
  • AI 钓鱼：自动化鱼叉式网络钓鱼担忧：一名成员提出 “我们很快就会看到一大波 AI 钓鱼 / 自动化驱动的鱼叉式网络钓鱼（spear phishing）”，并暗示这 “可能已经发生了”。
  • 首秀模型：新颖架构出现：一名成员宣布发布了他们的 首个模型，采用 “hidden_dim 128 和 n_layer 4 的新颖架构”，在 TinyStoriesV2 上训练 40 个 epoch 后，达到了 1.6571 的验证任务损失 和 5.24 的困惑度（perplexity）。
  • DeepSeek 的发现：揭示新训练方法：成员们强调了 DeepSeek 即将发布的 R2 及其发表的 论文，该论文概述了一种更高效的 AI 开发方法，称为 流形约束超连接 (Manifold-Constrained Hyper-Connections)。

Nous Research AI ▷ #interesting-links (21 条消息🔥):

srde-mistral, SaRDinE 模型, ik_llama.cpp-cuda, 自定义推理代码, Commodore64

  • srde-mistral 的 SaRDinE 模型发布日期公布：srde-mistral 的作者将该模型命名为 SaRDinE，并宣布将于今天或明天发布。
    • 作者拥有自定义推理代码来实现一些特殊功能，更多细节将很快解释。
  • SaRDinE：BF16 与 Llama.cpp：SaRDinE 模型全部采用 BF16，作者认为可以对主模型进行量化，专家部分（experts）应该没问题。
    • 然而，作者不确定由于专家逻辑（expert logic）的原因，它是否能与 Llama.cpp 配合使用。
  • SaRDinE 的内存密集度：一名用户询问了 SaRDinE 专家权重的内存占用情况，作者回复称 专家权重并不是内存密集型的。

GPU MODE ▷ #general (2 条消息):

新年快乐, 新年祝福

  • General 频道的元旦喝彩：general 频道的成员们愉快地交换了 新年快乐 的祝福，充满热情地迎来了新的一年。
    • 消息中充满了积极的情绪，并配以 Discord 自定义的 派对哈巴狗（party pug） 表情符号，为数字空间增添了一抹庆祝色彩。
  • Discord 频道敲响新年钟声：Discord 上的 general 频道里充满了 新年 祝福，用户们分享了对未来一年的希望和兴奋之情。
    • 成员们交换了庆祝信息，营造了节日气氛，并增强了频道成员之间的社区归属感。

GPU MODE ▷ #cuda (7 messages):

Cursor 中的 CUDA 13 Intellisense, CUDA barrier_expect_tx 文档, Clangd 设置

  • Cursor 的 Intellisense 在支持 CUDA 13 时遇到困难：有用户报告称，Cursor 的 Intellisense 与 CUDA 13 配合时会强制使用 Cursor 的 cpptools，而该工具捆绑的 clangd 尚未完全支持 CUDA 13，导致出现类似 CUDA version is newer than the latest partially supported version 12.8 的 LSP 错误。
    • 另一位用户确认，使其正常工作 非常不稳定且麻烦不断。
  • CUDA 的 barrier_expect_tx 文档存在问题：一名用户指出 CUDA 异步拷贝编程指南 中被注释掉的示例 2 是错误的。
    • 具体而言，该用户认为 cuda::device::barrier_expect_tx 应该接收 barrier 对象，而不是底层的 native_handle。
  • 现有的 CUDA Clangd 设置指南：有用户建议参考 CUTLASS 文档中的 Clangd 设置指南，以尝试解决 Cursor 中 CUDA 的 Intellisense 问题。
    • 最初的报告者确认他们之前的尝试也是基于类似的方法，但指出这仍然存在 一些问题 且 非常令人烦恼。

GPU MODE ▷ #torch (9 messages🔥):

设备端断言, D2H 同步, 非阻塞设备到主机传输, stream 同步, 异步传输

  • Torch 用户寻求异步断言和设备端断言以避免 D2H 同步：一名用户正在寻找 Torch 的 Python 绑定，以实现 device side asserts（设备端断言）或 async asserts（异步断言），从而避免在将 tensor.bool 转换为 Python bool 时，因 GPU 到主机的同步而导致 CPU 阻塞。
  • 提出了非阻塞 D2H 拷贝的替代方案：一名用户询问具体是对什么 tensor 值进行断言，并建议与其进行 non-blocking D2H copy，不如稍后再检查 tensor 的值。

GPU MODE ▷ #cool-links (4 messages):

编译器工程, Python 数字, PyTorch Transformers

  • 引起关注的编译器博客系列：一名成员推荐了一个关注 compilers（编译器）实际相关层面的 博客系列。
  • Python 数字技巧：一名成员分享了一个博客链接，讨论了每个程序员都应该了解的 Python numbers 的重要方面。
  • 对 Transformers 的调侃：一名成员开玩笑说某个页面漏掉了 import torch 或 import transformers。

GPU MODE ▷ #beginner (3 messages):

GPU 硬件知识, Web 开发框架, 基于 CUDA 和 PyTorch 的 ML 系统

  • 深度 GPU 硬件知识的稀缺性：据估计，全球只有几百人精通 GPU 的 assembly and hardware level details（汇编和硬件级细节）。
    • 一名成员将其与 Web 开发进行了对比，指出能够理解从底层硬件到前端框架整个技术栈的人，可能一只手就能数得过来。
  • Web 开发工具令初学者应接不暇：一名成员表示，在 Web 开发中为了做出有意义的东西，需要掌握众多的框架和工具，这让他们感到压力很大。
    • 他们将其与 ML systems 进行了对比，在机器学习系统中，CUDA 和 PyTorch 提供了一个更易上手的切入点，使人能够专注于深入理解，而不是应对工具的广度。

GPU MODE ▷ #cutlass (2 messages):

CUDA, Cutlass

  • 新人探索 CUDA 和 Cutlass：一位拥有 2 个月 CUDA 经验的新成员在观看 GPU mode 视频并克隆 repo 后，正在寻求学习 Cutlass 的指导。
    • 他们正在寻找介绍 Cutlass 的文章或博客，因为他们发现除了部分示例外，该 repo 的内容有些令人困惑。
  • 询问 Chris 的幻灯片：一位成员询问是否收到了 Chris 的幻灯片。
    • 未提供关于幻灯片或其内容的更多上下文。

GPU MODE ▷ #teenygrad (4 messages):

Teenygrad Core Team, Teenygrad Onboarding, Deep Learning Library

  • Teenygrad 寻求核心团队成员：Teenygrad 的创建者正在寻求核心团队成员，希望其能够独立地将 tinygrad 翻译到教育分支 teenygrad 中，但目前由于精力有限，无法进行更多的沟通或协调。
    • 建议感兴趣的人阅读 tinygrad 代码库，这与目前项目负责人的做法一致。
  • 更简单的 Teenygrad PR 即将到来：该项目旨在触达 MLSYS 领域的新人，并预计在 2 月底发布书籍的前两个部分及视频讲座后，会出现更多简单的、顺便提交的 teenygrad PR。
    • 尽管目前存在限制，但项目负责人对反馈表示感谢，并乐于接受改进新手引导体验的建议。
  • Hacker News 上的深度学习库：一位成员分享了一个在 Hacker News 首页上的相关酷炫项目链接，名为 Deep Learning Library。
    • 未分享额外信息，但该库可能会引起 Teenygrad 项目关注者的兴趣。

GPU MODE ▷ #nvidia-competition (16 messages🔥):

Reinforcement Learning (RL), Kernel optimization, Synthetic Data Generation, LLMs for data creation

  • Kernel 竞赛激发 RL 兴趣：一位成员在创建了文档数据集后，正在针对竞赛的 kernels 使用 Reinforcement Learning (RL)。
    • 他们之前曾将 RL 用于小型 LLM，在工具调用（tool calling）的基准测试中击败了大型实验室，但 CUDA kernels 的难度更高。
  • 优化后的 Kernel 通过 RL 提升 40%：一位成员对已经优化过的 kernel 进行了 RL 训练（RL session），并获得了 40% 的提升。
    • 他们补充说，大多数模型尚未见过他们正在使用的带版本号的新库。
  • 合成数据驱动 RL 训练：一位成员为 RL 训练 合成生成数据和 ground truth。
    • 他们正在使用 192 GB VRAM 配置和多个 LLM 来创建这些数据，并计划在应用 RL 之前对模型进行过度的微调（over-tune）。

Moonshot AI (Kimi K-2) ▷ #general-chat (46 条消息🔥):

新年祝福，Wenfeng 的论文，DeepSeek 模型炒作，求职调侃，头像棋盘

  • 新年祝福与牛奶：成员们互相交流了新年祝福，一位用户分享了一个 GIF，另一位则打招呼说 ‘hallo milk’。
    • 有人问 ‘Hello Bird person’ —— 这可能是在指代头像。
  • Wenfeng 的神秘新论文：成员们讨论了一篇 论文，注意到 Wenfeng 在作者名单中，以及该论文在优化 Residual Connections（残差连接）方面的潜在意义。
    • 根据反响，有人推测这篇论文 “可能非常有分量”。
  • DeepSeek 是被炒作了吗？：在 Kimi 给出批判性评价，认为其并非 “令人惊叹” 之后，成员们对 DeepSeek 模型 的热度展开了辩论，详见链接中的 图片。
    • 一位成员建议将其与 GLM-4.7 进行对比，以获得更平衡的观点，因为 “基础性改进！” 的说法听起来有些夸大其词。
  • 求职梗引发 NEET 调侃：一位成员分享了一个 求职 GIF 作为送给另一位用户的“礼物”，随后引发了一段关于失业和作为 NEET（啃老族/无业人员）的简短交流。
    • 对话中涉及了撤回请求以及关于是否为印度人的询问。
  • 头像看起来像棋盘？：一位成员取笑另一位成员的头像（PFP），将其描述为 “一张从随机角度拍摄的棋盘照片”，引发了一段简短且略显无厘头的交流。
    • 另一位用户回应道：“如果你没见过世面……我能理解为什么它看起来像那样，哈哈。”

Latent Space ▷ #ai-general-chat (40 条消息🔥):

Ubiquant 40B 模型，SWE-Bench Verified 基准测试，AI 架构创新，Cursor 内存泄漏，递归语言模型

  • Ubiquant 的 40B 模型高分惊艳：Ubiquant 推出了一款新的 40B 参数模型，在 SWE-Bench Verified 基准测试中获得了 81.4 的高分，引发了对其效率和竞争力的讨论；更多信息见此处。
    • 一些用户发现，与基准测试中的 Sonnet 4.5 和 Opus 等模型相比，评估中存在 奇怪的对比 和不一致性。
  • DeepSeek 研究员预告 2025 年 AI 架构：Nathan Chen 分享了来自 DeepSeek 研究员的见解，强调了 Muon 和 Hyper-connections 是 2025 年关键的架构创新，如此处所示。
    • 重点在于为高度实验性的研究想法重新工程化完整的训练环境，从而实现对奇特新概念的更快速扩展。
  • Cursor IDE 面临内存泄漏指控：用户报告了 Linux 版 Cursor 严重的内存泄漏问题，一位用户甚至在 2024 Mac Mini 上遇到了崩溃，另一位用户则遇到了卡顿。
    • 卡顿可能是由于后台定期启动的索引编制引起的，一位用户建议使用 VSCode 作为替代方案。
  • 递归语言模型出现以支持上下文扩展：Prime Intellect 介绍了关于 Recursive Language Models (RLMs) 的研究，通过训练模型自主管理其上下文，以提高长程 Agent 的性能，如此处所示。
    • 一位用户分享了一个类似的项目 CIE (Diogenesoftoronto/CIE)，并表达了对 Claude 上下文窗口限制的沮丧。

Latent Space ▷ #private-agents (5 messages):

Instruction Tuned Models, ChatGPT NPC-esque characters, Tokenizer as Bottleneck, Custom Tokenizers

  • Instruction Tuning 产生回声室效应：用于为 Base Model 的对话微调生成示例和蒸馏数据的 Instruction Tuned Models，会导致产生 ChatGPT NPC 式角色。
    • 由此产生的模型会过度拟合、陈旧且交互重复，从而形成负面反馈循环。
  • Tokenizer 限制了角色交互的细微差别：如果一个概念不在 Tokenizer 的词典中，或者其描述只是一个简短的词汇条目，游戏中的角色将无法细致地与其交互。
    • Tokenizer 成了瓶颈，限制了交互的深度和丰富性。
  • 自定义 Tokenizer 探索：讨论了是否有人在试验自定义 Tokenizer，还是重点仍然放在现有模型之上的 LoRA。
    • 一位参与者表示，摆脱通用的 “ChatGPT” 语气很困难，且之前没有考虑过 Tokenizer 与训练数据相比是否是瓶颈。

Manus.im Discord ▷ #general (10 messages🔥):

Manus Framework, OpenAGI Projects, Meta Acquisition

  • Manus 使用 OpenAGI 的 Mentat 框架：据一名成员称，Manus 的框架基于 Mentat，这是一个属于 OpenAGI 社区的开源项目。
    • 然而，该成员表示他们不需要它。
  • OpenAGI 项目消失：一位成员在注意到 OpenAGI 项目从 OpenAGI 官网 消失后，正在寻找这些项目，尤其是 Manus 使用的那个。
    • 该成员记得在 2024 年见过这些项目，但当时忽略了它们。
  • 假想场景中 Meta 收购 Manus：一位成员提示 Manus 创建一个它被 Meta 收购的场景。

Yannick Kilcher ▷ #general (6 messages):

Hyperparameter sweeping collaboration, Music recommendation ML project, Suspicious trades screening

  • 研究人员为超参数研究寻求合作者：一位研究人员正在寻找 两名合作者 协助完成一篇研究论文的 Hyperparameter Sweeping（超参数搜索），并提供 共同作者 身份作为回报。
    • 欢迎有兴趣的人士发送私信表达参与该研究工作的意向。
  • ML 音乐项目寻找热情的工程师：一位成员正在从零开始启动一个 音乐推荐系统 项目，明确避免使用 GPT 和 Claude 等 AI 工具，旨在提高其 Machine Learning 技能。
    • 发起人正在寻找有兴趣为该项目贡献力量的合作者，邀请他们通过私信或在聊天中表达意向。
  • Oracle 确认美国执法部门正在筛选可疑交易：一位成员表示，当重大事件发生时，美国执法部门会筛选可疑交易。
    • 该 X 帖子 似乎语无伦次，未提供进一步详情。

Yannick Kilcher ▷ #ml-news (2 messages):

Gun control, Gun sales, Corrupt companies

  • 枪支管制增加了枪支销售：成员们讨论了“民众需要枪支来保护自己免受腐败政府侵害”这一观点是否只是一种虚构，目的是增加与政府勾结的腐败公司的枪支销量。
    • 成员们表示，《处刑人》（Boondock Saints）和《V 字仇杀队》（V for Vendetta）仍然纯属虚构，人们达不到那种境界。
  • 《处刑人》和《V 字仇杀队》仍是纯虚构：成员们表示，《处刑人》和《V 字仇杀队》仍然纯属虚构，人们达不到那种境界。
    • 在最近的记忆中，只有三个人枪击或企图枪击腐败政府人员或附属机构，但其中两人只是昙花一现，而最重要的那个打偏了。

Modular (Mojo 🔥) ▷ #general (1 messages):

clattner: 新年快乐！

Modular (Mojo 🔥) ▷ #mojo (4 条消息):

Mojo bug, compiler simplification pass, level 3 upgrade

  • Mojo 表现出 nan 行为：在直接的 print 语句中用 1.0 除以 0.0 时，Mojo 返回 nan 而非 inf。
    • 然而，将除法封装到函数中则会产生正确的 inf 结果，这表明编译器的早期 simplification pass 中存在 bug。
  • Compiler pass 需要进行 Triage：一位用户报告，Mojo 在使用 print 时会将 1.0 / 0.0 错误地计算为 nan，但在使用函数时能正确计算。
    • 另一位用户建议这很可能是 constant folding 中的 bug，并请求提交 bug report。
  • 用户升级至 3 级：一位用户晋升到了 level 3。
← 返回首页