AI News
Anthropic 指控 DeepSeek(深度求索)、Moonshot(月之暗面)和 MiniMax 进行了“工业级规模的蒸馏攻击”。
Anthropic 指控 DeepSeek、月之暗面 (Moonshot AI) 和 MiniMax 对其 Claude 模型发起了“工业级规模”的蒸馏攻击。据称,这些攻击涉及约 2.4 万个虚假账号和超过 1600 万次 Claude 交互,旨在提取模型能力,引发了各界对竞争风险和安全性的担忧。
社区正在辩论“数据抓取 (scraping)”与“API 输出提取”之间的区别,突显了行业正转向通过“API 抗滥用”技术来保护模型的趋势。与此同时,像 Codex 和 Claude Code 这样的编程智能体在实际应用中经历了落地与失败并存的局面,由 Simon Willison 领衔的“智能体工程 (agentic engineering)”最佳实践正逐渐兴起。此外,OpenClaw 生态系统持续扩张,涌现了 NanoClaw 等替代方案,而 Ollama 0.17 等集成功能也进一步简化了开源模型的使用。
出口管制迈出重大一步。
2026/2/20-2026/2/23 AI 新闻。我们为你查看了 12 个 subreddits、544 个 Twitter 账号 和 24 个 Discord(262 个频道和 28837 条消息)。预计节省阅读时间(按 200wpm 计算):3003 分钟。AINews 网站 允许你搜索所有往期内容。提示:AINews 现已成为 Latent Space 的一个板块。你可以选择订阅或退订不同频率的邮件!
AI Twitter 综述
Anthropic 对 Claude “蒸馏攻击 (distillation attacks)” 的指控(以及行业反弹)
- Anthropic 的主张:Anthropic 声称检测到了来自 DeepSeek、Moonshot AI 和 MiniMax 的工业级 Claude 蒸馏行为:约 24,000 个欺诈账户生成了 >16M 次 Claude 对话,据称是为了提取模型能力用于自研模型 (Anthropic, 后续, 博客链接推文)。Anthropic 将这种风险界定为竞争性(能力转移)以及安全/地缘政治性(安全防护移除、下游军事/情报用途)。
- 社区反应 / “伪善”讨论串:很大一部分回复将其定性为“在互联网数据上训练的实验室现在开始抱怨被抄袭”,通常明确对比了网页抓取 (scraping) 与 API 输出提取 (Elon, ThePrimeagen, Teknium, Suhail, HKydlicek)。其他人则认为,这种规模的蒸馏具有本质区别,因为它可以复制 tool use / agent behaviors 并可能绕过安全控制 (RundownAI 总结, LiorOnAI 观点)。
- 二阶影响:该讨论明确了安全模型的转变:Frontier Models 越来越多地不仅受到权重保密和算力稀缺的保护,还受到 API abuse resistance(账户欺诈检测、速率限制规避、行为指纹识别、水标记等)的保护。它还重新引发了一个问题:如果能力可以通过大规模输出被“复制”,那么 export controls(出口管制)是否还能发挥作用 (LiorOnAI)。
- 相关市场/时机背景:一些人将这一公告的时机与即将到来的 DeepSeek V4 新闻周期以及更广泛的美中对抗框架联系起来 (kimmonismus)。
Coding agents:真实应用、真实失败以及“agentic engineering”手册
- Codex + Claude Code 的势头(以及掩盖真实工作流变革的梗):许多互动率最高的帖子都是“Agent 时代已至”的轶事——利用 Codex 进行周末开发 (OpenAIDevs, gdb)——以及关于赋予 Agent 过多权限的警示案例。这类案例中的典型失败模式是指令丢失/压缩,导致 OpenClaw 风格的配置中出现意外的破坏性行为(如删除邮件)(summeryue0, 后续原因分析,以及其他针对“写入权限”风险的反应:Yuchenj_UW)。
- Agentic 工程指南正在成型:
- Simon Willison 发布了针对 Claude Code/Codex 等编程 Agent 的 “Agentic Engineering Patterns”(Agent 工程模式)指南的首批章节 (simonw)。
- 一个微型争议:“删除你的 CLAUDE.md/AGENTS.md”文件(即过度自定义可能是一种货物崇拜/盲目模仿)(theo,得到了 bpodgursky 的共鸣,以及类似 ryancarson 的“硬修剪”回应)。
- OpenClaw 生态扩展及替代方案:
- NanoClaw 定位为一个更小、容器隔离的类 OpenClaw 助手,支持 WhatsApp I/O、Swarms、定时任务等 (TheTuringPost, 仓库:qwibitai/nanoclaw)。
- 多个“如何构建 OpenClaw 风格 Agent”的技术栈强调了枯燥但关键的部分:调度器/队列、沙箱、实时通信 (TheTuringPost 技术栈列表)。
- Ollama 0.17 简化了在 OpenClaw 中使用开源模型的过程(并释放了出于安全考虑对本地 Agent 执行持续关注的信号)(ollama)。
- 企业级/生产级 Agent 工程正转向可观测性与评估循环:Exa 的“深度研究 Agent”案例研究强调了 Token/缓存可观测性作为计费基础设施的重要性 (LangSmith/LangGraph) (LangChain)。monday.com 的服务 Agent 将评估(Evals)视为“Day 0”任务,并声称使用 LangSmith 后反馈循环加快了 8.7 倍 (hwchase17)。
基准测试与评估完整性:SWE-Bench Verified 弃用、新排行榜以及 Agent 仓库生成的瓶颈
- SWE-Bench Verified 正被 OpenAI DevRel 主动弃用:OpenAI 推荐使用 SWE-bench Pro,并表示 Verified 版本已饱和/失效:数据污染和测试设计缺陷意味着它不再能衡量前沿编程能力 (OpenAIDevs,分析讨论:latentspacepod,回顾:swyx,独立总结:rasbt,简要版:polynoamial)。推文中呼应的分析细节:在审计了一部分经常失败的任务后,发现很大比例的任务存在测试缺陷(拒绝了正确的解决方案)和/或任务“按描述”无法解决。
- 推行“性价比(capabilities per dollar)”评估:AlgoTune 明确为每个任务设定 1 美元预算,产出的排名可能更有利于更便宜的模型,将“最佳”重新定义为成本约束下的最佳 (OfirPress)。
- 长程编程 Agent 依然面临失败:NL2Repo-Bench 测试 Agent 是否能从零生成一个完整的、可安装的 Python 库;报告显示顶尖模型的通过率低于 40%,失败模式主要集中在规划和仓库级的连贯性上 (jiqizhixin)。
- OCR 评估现实检验:据报道,即使是强大的 OCR 模型在处理密集的历史报纸时也会“崩溃”(幻觉/死循环),凸显了在精心挑选的文档分布之外的脆弱性 (vanstriendaniel)。此外:OlmOCR-Bench 成为 HF 上用于社区评估提交的基准测试数据集 (mervenoyann)。
推理与系统:用于 Agent 的 WebSockets、超快片上推理以及基础设施扩展叙事
- OpenAI Responses API 增加了 WebSockets,适用于低延迟、长运行周期、高频调用工具的 Agent。原理:持久连接 + 内存状态,意味着你可以发送增量输入,而非完整上下文;声称在 20 次以上的工具调用中可实现 20–40% 的提速(OpenAIDevs,详情:OpenAIDevs,采用情况:OpenAIDevs)。Cline 报告了早期测试数据:简单任务提速约 15%,复杂工作流提速约 39%,最佳情况提速 50%(cline)。Steven Heidel 将 Codex 的提速归功于 WebSockets(stevenheidel)。
- 推理工程(Inference engineering)成为“一门独立的学科”:Baseten 发布了 Inference Engineering 一书(philipkiely),工程师们强调推理是决定延迟、成本和可靠性的竞争层(hasantoxr,JayminSOfficial)。
- 硬件/架构信号:
- 一项 Demo 声称通过“将模型参数蚀刻到晶体管中”(计算+存储融合),在 Llama 3.1 8B 上实现了 18,000 tokens/sec 的速度(philschmid)。
- NVIDIA 发布了针对 Blackwell 优化的 Qwen3.5 MoE,量化至 NVFP4,配合 SGLang 可实现 2 倍的推理提速(HuggingPapers)。
- fal 分享了其推理引擎中的通信/计算重叠优化(“Async Ulysses”)(isidentical)。
- 计算策略叙事发生碰撞:有关 OpenAI “Stargate” 数据中心项目陷入停滞的说法在回复中遭到反驳,另一种框架将其描述为:Stargate 是一个多合作伙伴计算生态系统的伞形品牌(包括 SoftBank/NVIDIA/AMD/Broadcom/Oracle/Microsoft/AWS/CoreWeave/Cerebras),并预计在 2025 年底将拥有约 2GW 的可用算力(kimmonismus 的说法 对比 sk7037 的回复)。
模型/排行榜更新与研究线索(推理、记忆、多模态视频)
- Arena leaderboard:GPT-5.2-chat-latest 以 1478 分进入 Text Arena 前 5 名,比 GPT-5.2 高出 40 分;在多轮对话(multi-turn)、指令遵循(instruction following)、困难提示词(hard prompts)和编程(coding)方面有显著提升(arena,细分数据:arena)。
- Gemini 3.1 Pro:WeirdML 得分为 72.1%(3.0 版本为 69.9%);被指出具有“极高的峰值表现 + 奇怪的弱点”,且输出 Token 使用量大幅增加(htihle)。另外,开发者关于容量和 tool-calling 可靠性的投诉引起了广泛关注(theo,theo 后续,以及稍后的:theo)。
- Qwen3.5 模型发布传闻:一条推文声称 Qwen 发布了一个 397B 多模态 MoE 模型,激活参数为 17B,并称其“足以媲美 GPT-5.2/Claude 4.5”(HuggingPapers)。在查阅模型卡片(model card)或评测结果之前,请谨慎对待该 Benchmark 对比。
- 推理训练 / CoT:
- Teknium 认为验证器模型(verifier models)并非“免费午餐”:优秀的求解器往往也是优秀的验证器;针对难题使用较小、“较笨”的裁判模型(judges)通常会失败(Teknium)。
- ByteDance 风格的 CoT 工程被描述为从长度惩罚转向强制压缩的流水线(pipelines);此外还有一种关于 long-CoT 结构的“分子化”框架,包含“语义异构体”(semantic isomers)和一种合成数据方法 Mole-Syn(teortaxesTex,摘要来自 TheTuringPost)。
- DAIR 重点介绍了一篇关于通过信息论研究 CoT 可监控性(monitorability) 的论文(互信息是必要条件但非充分条件;存在监控提取和诱导误差造成的差距),并提出了提高透明度的训练方法(dair_ai)。
- 视频 / 世界模拟:多篇关于交互式视频生成和多镜头生成的论文正在流传(akhaliq 交互式视频,akhaliq 多镜头,QingheX42 代码发布);产品端方面:Kling 3.0 集成到了 Runway 工作流中(runwayml),Veo 3.1 模板也正在 Gemini 应用中推出(GeminiApp,Google)。
关于 AI Agent 的工作、采用及“宏观”讨论(Citrini 文章 + Anthropic 流利度 + OpenAI 企业联盟)
- Citrini 的“未来宏观备忘录”文章成为讨论焦点:多条推文将其总结为一个预测场景,即日益廉价的 Agent 会压缩白领工资/消费,产生“幽灵 GDP(ghost GDP)”,并给金融市场和政治带来压力(kimmonismus 摘要,stevehou 反应,作者后续:Citrini7)。讨论串指出,反应集中在赞同、理性的反对和表演性的嗤之以鼻(teortaxesTex)。
- Anthropic 的“AI 流利度指数(AI Fluency Index)”:Anthropic 测量了 Claude 对话中的协作行为;报告的一个关键关联是,流利度与迭代/优化(iteration/refinement)相关,而非 one-shot prompting(AnthropicAI)。
- OpenAI 通过咨询联盟扩大企业市场开拓:OpenAI 宣布与 BCG、McKinsey、Accenture、Capgemini 建立 Frontier Alliances,旨在通过集成和变革管理部署“AI 同事(AI coworkers)”,力求突破试点阶段(bradlightcap,分析:kimmonismus)。
- 采用情况依然不均衡:一项统计声称 84% 的人从未用过 AI(被解读为“我们还处于早期阶段”)(kimmonismus)。与此同时,工程师们报告在他们自己的工作流中“Agent 无处不在”——凸显了技术扩散具有高度的集群性。
热门推文(按互动率及技术相关性排序)
- Anthropic 指控 DeepSeek/Moonshot/MiniMax 对 Claude 进行大规模蒸馏 (Distillation) (AnthropicAI)
- “行动前确认” Agent 删除了收件箱:OpenClaw 的前车之鉴 (summeryue0)
- OpenAI Responses API 添加 WebSockets 支持,以提升重工具型 Agent 的速度 (OpenAIDevs)
- OpenAI 弃用 SWE-Bench Verified 作为前沿编程指标;推荐 SWE-bench Pro (OpenAIDevs)
- Anthropic “AI 流畅度指数”研究(将迭代/精炼视为核心行为) (AnthropicAI)
- Simon Willison 为编程 Agent 编写的“Agentic 工程模式”指南 (simonw)
- Cline 对 Responses API WebSockets 进行基准测试:在复杂工作流中提速高达 ~39% (cline)
AI Reddit 摘要
/r/LocalLlama + /r/localLLM 摘要
1. Anthropic 蒸馏攻击
-
Anthropic:“我们已发现 DeepSeek、Moonshot AI 和 MiniMax 对我们的模型进行了工业级规模的蒸馏攻击。” 🚨 (热度: 4207): Anthropic 发现 DeepSeek、Moonshot AI 和 MiniMax 对其模型进行了工业级规模的蒸馏 (Distillation) 攻击。这些攻击涉及创建超过
24,000个虚假账号,并与 Anthropic 的模型 Claude 进行了超过1,600 万次交互,以提取其能力用于改进自身模型。这凸显了 AI 行业中重大的安全与知识产权挑战,即模型能力可能被非法提取和复制。评论者将这些蒸馏攻击与更广泛的 AI 行业在未获明确授权的情况下使用数据的做法进行类比,暗示 Anthropic 的投诉存在双重标准。还有人对 Anthropic 自身数据集的构建方式表示怀疑,暗示可能存在伦理担忧。- 讨论强调了 Anthropic 投诉蒸馏攻击中潜在的讽刺意味,因为他们自己的模型训练很可能也涉及使用未经明确许可的大型数据集。这引发了关于 AI 开发中数据使用伦理影响的问题,特别是像 Anthropic 这样的公司也是建立在他们并不拥有或无权使用的数据之上的。
- 提到 DeepSeek、Moonshot AI 和 MiniMax 等公司的工业级规模蒸馏攻击,表明 AI 模型正处于被逆向工程或复制的竞争格局中。这可能涉及利用 API 访问来提取模型输出并训练类似模型,这给 AI 领域的知识产权保护带来了重大挑战。
- 有建议认为 Anthropic 的数据集可能是由人工手动标注的,这意味着在数据质量和策划上投入了大量资金。这与蒸馏攻击形成对比,后者竞争对手可能会通过利用现有模型的输出来训练自己的系统,从而绕过这些努力。
-
伪善? (热度: 380): 图片强调了 AnthropicAI 的一项指控,即 DeepSeek、Moonshot AI 和 MiniMax 对其模型进行了“大规模蒸馏攻击”。这些攻击涉及创建
24,000个虚假账号,并与 Claude 进行了1,600 万次交互以提取其能力,推测是为了改进他们自己的 AI 模型。这引发了对此类行为的伦理和合法性,以及保护 AI 模型免受未经授权数据提取的安全措施的担忧。一位评论者质疑被指控实验室的伦理立场,认为他们可能没有寻求许可,而另一位评论者则惊讶于 z.ai 未被提及,暗示类似行为可能更为普遍。另一条评论提出了训练数据来源的问题,暗示了对 AI 开发中数据使用和所有权的更广泛担忧。 - ‘semangeIof’ 的评论强调了 GLM 系列的一个潜在问题,特别提到它在受提示时可能会错误地声称自己是 Claude。这暗示了对模型身份和真实性的担忧,这可能会影响用户信任和 AI 交互的完整性。
- ‘archieve_’ 提出了一个关于训练数据来源的关键问题,这是 AI 模型开发的一个基本方面。训练数据的来源会影响模型的偏差、性能和伦理考量,使其成为开发者和用户共同关注的焦点。
-
‘roxoholic’ 对 AI 讨论中使用的术语提出了质疑,特别是 ‘industrial-scale distillation attacks’。这个术语可能指大规模复制或从 AI 模型中提取知识的行为,这对于 AI 开发中的知识产权和竞争优势具有重大影响。
-
你做叫蒸馏,我们做叫训练。 (Activity: 1098): 这张图片是一个迷因(meme),幽默地强调了 AI 社区在模型蒸馏(distillation)方面表现出的双重标准。它对比了他人进行蒸馏时的负面看法,与自己进行蒸馏时将其美化为“训练数据”的正面框架。这反映了关于 AI 模型伦理和所有权的持续争论,特别是在使用大模型通过蒸馏创建更小、更高效的模型背景下。评论讨论了这种做法的影响,指出小模型通常从较大的蒸馏模型中获取能力,并质疑在蒸馏盛行时专有模型的可防御性。 评论者强调了 AI 行业在蒸馏立场上的讽刺和潜在的虚伪,一些人指出许多小模型的性能归功于从大模型进行的蒸馏。此外,还有关于保护专有模型不被竞争对手蒸馏所面临挑战的讨论。
- IkeaDefender 强调了利用蒸馏从大型模型创建低成本模型的技术策略,认为这些模型的“核心机密”(secret sauce)在于它们源自更复杂的前沿模型(frontier models)。这引发了对前沿模型投资可防御性的质疑,因为公司尚未展示出防止他人抓取和蒸馏其模型的有效方法。
- MasterLJ 将 Google 和 Amazon 等科技巨头的做法与当前的 AI 格局进行了类比。他们认为,正如 Google 索引互联网并通过 robots.txt 控制访问一样,AI 公司现在也在控制模型访问和蒸馏。这种控制被比作 Amazon 在销售税上的战略转变,最初反对各州征税,直到对其有利时才改变立场,说明了利用控制权获取竞争优势的模式。
- Samy_Horny 讨论了公司不愿开源其模型的态度,以 MCP 仅在流行后才开源为例。他们对 Gemma 或 GPT-OSS 等模型开源的可能性表示怀疑,因为这意味着泄露过多的专有信息或“核心机密”。
2. Qwen 模型与数据质量问题
-
Qwen3 最被低估的功能:语音嵌入 (Activity: 686): 该帖子讨论了 **Qwen3 TTS 的语音嵌入功能,它将语音转换为高维向量(
1024或2048维),用于语音克隆和操控。这允许对语音进行数学运算,例如性别和音高转换、语音平均化以及创建情感空间。语音嵌入模型是一个只有几百万参数的小型编码器,作者已将其提供给独立使用,包括用于 Web 推理的优化 ONNX 模型。图片展示了该嵌入空间的 2D t-SNE 投影,显示了如何组合和操控不同的语音特征。作者还提供了他们在 Hugging Face 上的集合链接,以及一个用于推理的vllm-omni分支的 GitHub 仓库。** 一位评论者对转换语音嵌入并从中生成语音的能力感到好奇,表示对性别或机器人转换等实际应用感兴趣。另一位评论者认为这在说话人识别方面具有潜力,并询问与性别或情感相关的参数是如何确定的。 - MixtureOfAmateurs 询问了转换 voice embeddings 以修改性别或机械感音调等特征,然后将这些修改后的 embeddings 用于语音生成的可能性。这暗示了一个超越简单编码的使用场景,可能涉及复杂的转换和合成过程。
- HopePupal 提出了将 voice embeddings 用于说话人识别的可能性,并质疑了如何确定与性别或情感相关的参数。这暗示了需要理解 embeddings 的特征空间以及特定属性是如何在其中编码的。
-
StoneCypher 概述了对高级语音克隆功能的需求,包括使用 IPA 进行发音、带 easing 和 stacking 的情感提示集成,以及精确的词级时间控制。这突显了对合成语音进行精细控制的需求,而详细的 voice embeddings 可能会促进这一需求的实现。
-
Qwen 团队证实 GPQA 和 HLE 测试集的数据质量存在严重问题。 (Activity: 320): Qwen 团队确认了 GPQA 和 HLE 测试集中存在的重大数据质量问题,详情见其最近的 论文。这证实了 DeepSeek-Overclock 项目早期的发现,该项目指出模型的正确答案经常与有缺陷的“金标准(gold standard)”标签相矛盾。论文强调,HLE 测试集中的许多问题在根本上是有缺陷的,一些“标准答案”本身就是错误的。调查涉及使用 Python 脚本逐行验证数学推导,揭示了测试集中的系统性错误。 评论者指出 HLE 的错误已有记录,FutureHouse 的审查显示该数据集只有
51.3%得到了研究支持。此外,对在测试集创建过程中使用 OCR 的做法也存在批评,认为数据准备缺乏严谨性。- HLE 测试集因数据质量受到批评,FutureHouse 的一项审查显示,只有约
51.3%的数据得到了研究支持。这突显了重大错误,并表明该数据集对于准确的基准测试可能不可靠 (来源)。 - 担心在创建测试集时使用 OCR 可能会引入错误。评论者认为,使用 LaTeX 进行编写会是更可靠的方法,暗示当前的方法可能会损害数据集的完整性。
- MMLU 基准测试在数据质量方面也面临类似的批评,许多用户指出其充满了错误。这引发了人们对测试集有缺陷时能否准确评估模型性能的更广泛担忧,表明需要更严格的数据验证过程。
- HLE 测试集因数据质量受到批评,FutureHouse 的一项审查显示,只有约
-
你更期待哪一个:9B 还是 35B? (Activity: 1312): 该图像是一个 meme(模因),幽默地描绘了对两个版本模型发布的期待,特别是 ‘QWEN 3.5 9B’ 和 ‘35B’。该 meme 格式以一个男人在各种沉思姿势中等待为特色,用于吸引社区参与关于他们更期待哪个模型版本的轻松讨论。评论反映了兴奋感和实际考量的结合,例如在个人硬件上运行大型模型的可行性。 一位评论者对两个模型都感兴趣,而另一位则强调了在个人硬件上运行 35B 等大型模型的实际限制,表示更倾向于更易获取的 9B 版本。
- 9B 模型受到像
peregrinefalco9这样用户的青睐,因为它的硬件要求较低,更适合本地使用。一个能装入8GB VRAM的 9B 模型可能会显著影响工作流,而不像 35B 模型那样需要3090GPU 等更强大的硬件,从而限制了其可获取性。 dances_with_gnomes强调了在本地运行大型模型的实际限制,指出虽然他们可能应付得了 9B 模型,但 35B 模型超出了他们的硬件能力。这凸显了模型大小在决定个人用户可用性方面的重要性。- 讨论反映了对平衡性能与可获取性的模型的更广泛兴趣。虽然像 35B 这样的较大型模型提供了令人印象深刻的能力,但它们对硬件的高要求使得 9B 这样的较小型模型对于资源有限的用户更具吸引力。
- 9B 模型受到像
非技术性 AI Subreddit 综述
/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo
1. Anthropic 数据泄露与模型蒸馏争议
-
Anthropic 指控 DeepSeek、Moonshot AI (Kimi) 和 MiniMax 创建了超过 24,000 个虚假 Claude 账户,并从 1600 万次对话中蒸馏训练信息。 (热度: 3161): Anthropic 指控 DeepSeek、Moonshot AI (Kimi) 和 MiniMax 创建了超过
24,000个虚假账户,对其 AI 模型 Claude 进行工业级规模的蒸馏攻击。据称这些公司从1600 万次对话中提取了训练信息,以增强自身模型,这构成了对数据安全和知识产权的重大侵犯。这一指控凸显了对数据保护和伦理 AI 开发实践的持续关注。评论者强调了 AI 公司在指责他人窃取数据时,自己也在利用公开数据进行训练的讽刺意味,暗示行业内存在双重标准。- 讨论强调了 Anthropic 指控中的讽刺之处,因为他们自己也利用来自互联网的公开数据来训练模型。这引发了关于在不补偿原始创作者的情况下使用此类数据的伦理影响,以及像 Anthropic 这样的公司是否回馈了他们从中受益的开源社区的问题。
- 关于数据使用的伦理考量存在争论,一些评论者指出,鉴于 Anthropic 自身利用海量互联网数据的行为,其对数据窃取的投诉显得虚伪。这反映了更广泛的行业问题,即 AI 公司经常使用公开数据而没有直接给予内容创作者补偿。
- 对话触及了使用公开数据进行 AI 训练的更广泛行业惯例,质疑像 Anthropic 这样的公司是否支持了他们从中受益的开源项目。这引发了对 AI 进步中专有开发与社区贡献之间平衡的担忧。
-
又来了。DeepSeek R1 简直是对 OpenAI 模型的复制粘贴。他们被封禁了,现在又盯上了 Anthropic。欺诈! (热度: 1654): 该图片强调了 AI 行业的一个重大问题,即 DeepSeek、Moonshot AI 和 MiniMax 等公司被指控对 Anthropic 的 AI 模型(特别是 Claude)进行大规模蒸馏攻击。据称这些实验室创建了超过 24,000 个虚假账户,与 Claude 进行了超过 1600 万次交互,旨在提取知识并改进自己的模型。虽然蒸馏是创建小型模型的合法方法,但该帖子警告不要采取规避安全防护措施的非法手段,并呼吁在行业范围和政策层面采取干预措施来应对这些威胁。 评论反映了对 AI 训练中数据使用伦理标准的讽刺和批评,强调了大型 AI 公司在处理数据伦理时被感知到的虚伪。
-
Anthropic:“我们已经发现 DeepSeek、Moonshot AI 和 MiniMax 对我们的模型发起了工业级规模的蒸馏攻击。” (热度: 1416): Anthropic 已经确定 DeepSeek、Moonshot AI 和 MiniMax 对其模型进行了工业级规模的蒸馏攻击。这些攻击涉及创建超过
24,000个虚假账户,并与 Anthropic 的模型 Claude 执行了超过1600 万次对话,以提取其能力用于自身的模型训练和改进。这种情况凸显了在保护 AI 模型免受未经授权使用方面面临的持续挑战,以及围绕模型训练实践的伦理考量。一位评论者将这些蒸馏攻击与在受版权保护的材料上进行训练相类比,暗示了根据受影响者的不同,此类行为被感知的方式存在双重标准。
2. Seedance 2.0 与 AI 生成视觉效果
-
仅凭一条提示词,在 Seedance 2.0 的首次尝试中就得到了如此疯狂的结果 (热度: 3442):该帖子描述了使用 Seedance 2.0 仅通过一条提示词生成的高度细致且逼真的动画。动画展示了一架大型客机在着陆时变形为巨型机器人,呈现了复杂的机械变形和真实的物理效果,如跑道开裂和碎片散落。该动画在保持“智能手机直播”美学风格的同时,提供了好莱坞级别的视觉效果和 IMAX 级的细节。这展示了 Seedance 2.0 根据简单提示词生成复杂、高保真动画的先进能力。 评论者讨论了生成式 AI 成熟度的影响,质疑 Seedance 是否能在没有 Transformer 现有素材的情况下实现这种效果。另一条评论批评了变形过程中的色彩一致性,指出其偏离了典型的 Transformer 设计。
-
刚刚向 GPT 5.2 请求了一条提示词,并在 Seedance 2.0 的首次尝试中得到了这个疯狂的结果 (热度: 1157):一位用户利用 GPT-5.2 配合 Seedance 2.0 生成了一个高度详细且逼真的中文动画提示词,最终产生了一个具有好莱坞级视觉效果的飞机变身为巨型机器人的电影级画面。提示词描述了一个具有“真实金属质感”和“高精度机械细节”的场景,展示了 Seedance 2.0 从文本描述创建复杂动画的先进能力。 评论者注意到了 Seedance 2.0 的变革潜力,认为这种技术未来可能让个人制作整部电影。此外,还有关于对现有动画资产(如来自《变形金刚》电影的资产)依赖程度的讨论,引发了对过度依赖回收内容的担忧。
- 讨论突显了 Seedance 2.0 令人印象深刻的能力,尤其是在生成高质量视频内容方面。然而,人们担心可能会回收现有的动画作品(例如《变形金刚》电影中的作品),这可能导致一种“回收螺旋(recycle spiral)”,即新内容严重依赖预先存在的资产,而不是创造原创素材。
- 针对生成的视频质量进行了技术性批评,指出尽管其表面质量很高,但存在明显的错误,例如汽车的后部变成了前部。这指出了模型在整个视频生成过程中保持一致物体完整性方面的局限性。
- 提到了生成内容中的一个特定错误:一架 747 被错误地描绘为双引擎飞机(twinjet),突显了该模型在准确表现复杂物体或场景方面的困难,这对于需要高保真度和准确性的应用来说可能是一个重大问题。
3. Gemini 模型性能与用户体验
-
小众观点:对于“深度研究”和大量阅读,Gemini 目前远超 ChatGPT。 (活跃度: 244): 该帖子强调了 **Gemini 在处理深度研究任务的海量文档时表现出的卓越性能,这主要归功于其庞大的 context window 和 workspace 集成。用户通过分析 15 份 PDF(共计
400 页)的矛盾之处,将 Gemini 与 ChatGPT 进行了对比,结果 Gemini 通过同时处理所有文档并准确识别出带有精确页码引用的矛盾点而胜出。这种能力归功于 Gemini 为开发者和知识工作者工作流设计的初衷,详见 Google Cloud 上的课程。** 评论者一致认为 Gemini 在处理长 context window 方面具有优势,并指出其在法律合同审查等文档密集型任务中的有效性。然而,一些人批评了它的 in-chat memory,认为其早期版本存在问题。- Gemini 的长 context window 被认为是深度研究和文档工作(如法律合同审查)的显著优势。用户指出,它消除了不断重新上传文档的需要(这是 ChatGPT 的常见问题),从而提高了效率和工作流。
- Gemini 的 引用页码功能 因其能快速验证信息的实用性而受到称赞。这一功能对于需要引用文档特定部分的位用户特别有用,在法律审查等任务中节省了时间并提高了准确性。
- 用户对 Gemini 的 in-chat memory 提出了批评,指出它在正确记忆上下文方面表现不佳,这一问题在早期版本的 ChatGPT 中也同样存在。这表明虽然 Gemini 在某些领域表现出色,但在维持对话上下文方面仍有局限性。
AI Discord 简报
由 gpt-5.2 生成的总结之总结的总结
1. Agents 与运行时:交付真实工作流(不只是演示)
- OpenClaw 获得包含 24 个 PR 的“稳定性栈”:一位 OpenClaw 用户报告称,通过在 v2026.2.22-2 之上运行 24 个精选 PR,稳定性/安全性得到了实质性提升,其中包括针对 内存管理(OpenClaw PR #12760)和 提示词注入 (prompt injection)(OpenClaw PR #16992)的修复。
- 他们还提议帮助 rebase 冲突的 PR,以提高 agent/cron jobs 的可靠性,而其他用户则讨论了使用 VMs/Docker 对 OpenClaw 进行沙箱化处理,以在授予 Agent 广泛系统访问权限时减少“爆炸半径”。
- 复古计算,现代 Agents:OpenClaw 在 1998 年的 iMac G3 上运行:一名成员通过使用 Pi Zero 2W 作为中继连接到实际运行 OpenClaw 的 VPS,在 1998 年的 iMac G3 上运行了 OpenClaw,请求通过简单的 HTML 表单发送,响应在重新加载时显示。
- 该社区还分享了实用的“野外 Agent”构建案例,如 X 上的购物助手文章(“Shopping Assistant” 线程),以及 GitHub 上的 Taskflow(markdown↔sqlite 任务同步)(auxclawdbot/taskflow) 和 Clawhub (Clawhub 上的 Taskflow)。
- Opentulpa 与 Agent 集群:持久自主权军备竞赛:OpenRouter 用户重点推荐了 Opentulpa,这是一个自托管的持久性 Agent 运行时,可以编写技能、生成集成并修复工作流,现已在 GitHub 上发布 (kvyb/opentulpa)。
- 在 Hugging Face 上,开发者分享了 Super System,这是一个编码 Agent 集群 (agent swarm),可以在改进循环中自主运行数小时 (starsnatched/super-system),这加强了长时运行、自我改进的 Agent 运行时而非单次对话聊天机器人的趋势。
2. 新模型、数据集与评估:基准测试变得混乱,工具开始发力
- Arena 排行榜大洗牌:GPT-5.2 跃升 40 分:LMArena 宣布
GPT-5.2-chat-latest进入前 5 名,并声称其比基础版 GPT-5.2 提升了 40 分,达到 1478 分,接近 Gemini-3-Pro。更新后的榜单见 Text Arena 排行榜 和 Vision Arena 排行榜。- 他们还注意到
Qwen3.5-397B-A17B作为顶级开源模型出现在 Vision Arena 中,同时 Clayton 发布了一段幕后解析,解释投票后会发生什么(“在 Arena 投票后究竟发生了什么?”)。
- 他们还注意到
- **SWE-Bench Verified 被彻底弃用:Latent Space 分享了 OpenAI 主动弃用了 **SWE-Bench Verified,原因是严重的数据污染(data contamination)以及大量有缺陷或无法解决的任务(Latent Space 推文)。
- 讨论将其视为一个警示:一旦模型开始通过任务 ID(task IDs)死记硬背解决方案,排行榜可能会悄无声息地失效,这推动社区转向新的评估规范(evaluation hygiene)和基准测试更新周期。
- **Real-Slop 数据集发布 15.5 万条“真实用户”请求:Solenopsisbot 发布了 **Real Slop,这是一个包含约 15.5 万条通过 API 收集的真实用户请求的数据集,响应来自 Opus 4.5、Gemini 3 Pro 和 GPT 5.2(Solenopsisbot/real-slop)。
- 后续讨论强调了数据整理机制——去重、过滤、清洗——甚至建议通过简单的“去除空格+哈希”处理即可再移除 2.2 万个重复项,这凸显了数据集质量工作依然是取胜的关键。
3. Inference/Kernels: Blackwell 现状核查 + 基准测试完整性
- **ThunderKittens 2.0 通过“减法”获得 10% 的额外性能提升:GPU MODE 深入研究了来自 Hazy Research 的 **ThunderKittens 2.0,该项目声称通过重构、内存指令微调和更好的汇编器效率实现了内核提速(“ThunderKittens 2.0” 博客)。
- 一个显著细节是:在某些 Tensor Core 指令中的隐式流水线(implicit pipelining)可以带来高达 ~10% 的吞吐量增益。团队认为,对于现代 Nvidia 性能优化工作,“减法”与加法同样重要。
- **flashinfer-bench 运行过快(因为忘记了等待)**:GPU MODE 指出了一个可能夸大
flashinfer-bench运行时间的同步 Bug(synchronization bug),详见 flashinfer-bench issue #195。- 社区指出,一个两行的修复方案即可使
scripts/run_local.py与 Nsight Compute 和 NVbench 保持一致,并分享了一个相关的内核基准测试演讲(YouTube: kernel benchmarking talk)。
- 社区指出,一个两行的修复方案即可使
- **Blackwell 并非铁板一块:5080 的调优无法“扩展”到 B200:GPU MODE 用户警告称,由于架构差异,在 **RTX 5080 (sm120) 上的内核调优(kernel tuning)无法可靠地迁移到 B200 (sm100),这导致至少有一名成员决定放弃购买 5080。
- 他们还指出了指令集差异(例如 tcgen05 支持 sm100/sm103/sm110,但不支持 sm120/sm121),并引用 CUDA 计算能力文档作为参考(CUDA C Programming Guide: compute capabilities)。
4. Platforms, Pricing & “为什么现在到处都限流?”
- **Perplexity Pro 用户称其为“大阉割”:Perplexity Discord 用户抱怨 **Perplexity Pro 的上传限制感觉比 ChatGPT 免费版还糟糕,在对比中愤怒地提到 “付费计划一天只能上传 3 次,而不是一周 3 次”。
- 他们讨论了放弃 Perplexity 转而直接订阅 Claude/OpenAI 或使用像 Kimi 这样的大型开源模型,并争论“Model Council”究竟是减少了错误,还是仅仅增加了不确定性和复合故障模式。
- **OpenRouter 增加基准测试 + “有效定价”(终于有了凭证):OpenRouter 推出了由 Artificial Analysis 提供支持的模型页面基准测试,并为每个提供商增加了有效定价**(Effective Pricing)标签,同时改进了排名页面上的基准测试可视化效果,详见其公告(OpenRouter X 帖子)。
- 他们还推出了
openrouter/free作为免费模型的元路由器(openrouter/free),与此同时,用户也在抱怨支持延迟以及即使额度充足也会收到意外的限流消息。
- 他们还推出了
- **Token 消耗成为头等问题 (OpenClaw + Grok Fortress):OpenClaw 用户分享了削减开支的策略——多 Agent、自动清理会话、更便宜的定时任务模型(如 **claude-haiku-4-5)、
/context检查,以及使用 Cloudflare AI Gateway 的实验——此前有报道称有人为了买个披萨花掉了 768 欧元的 Token。- 另外,OpenAI Discord 用户声称启用 Grok Fortress 可将 Token 消耗降低到典型冗余度的约 1/4–1/5,同时在角色扮演中保持连贯性,这引发了关于 Prompt Engineering 是可重复的“科学”还是仅仅是“玄学(vibes)”的辩论。
5. Protocols & Security: 协商、扫描器及 System Prompt 泄露
-
**MCP 期待 HTTP 风格的内容协商:MCP 贡献者提议在 MCP 初始化中加入内容协商(content negotiation)**,以便客户端能够声明类型/能力,并请求如 **json markdown** 等输出格式和详细程度层级,参考了 RFC 2295。 - 参与者强调,修改协议需要行业支持以及可运行的实现,建议将该想法构思为一个扩展(SEP),并效仿 MCP Apps 获取客户端支持的方式(如 Block 的 Goose)来争取采纳。
- **Claude Code Security 扫描出 500 多个 Bug(仅限候补名单):Latent Space 讨论了由 **Claude 4.6 Opus 驱动的 Anthropic Claude Code Security。据报道,它在开源生产代码中发现了 500 多个长期存在的 Bug,目前仅限研究预览版候补名单(推文串)。
- 同一生态系统还辩论了模型蒸馏和安全信号。OpenRouter 用户传阅了 Anthropic 关于蒸馏检测的文章(“Detecting and preventing distillation attacks”),以及一篇关于指控数据窃取的 WSJ 报告(WSJ: “Anthropic Accuses Chinese Companies of Siphoning Data from Claude”)。
- **越狱者更青睐 “System Prompt” 逃生路径:BASI Jailbreaking 用户声称他们提取了 **Sonnet 4.6 的 System Prompt,并将“常规越狱”与 System Prompt 越狱进行了对比。后者利用了指令处理机制,可以在整个会话中持续存在,且更难被检测。
- 他们还提到了一份所谓的 Gemini 3.1 越狱文档(GnfDocs)和一个更新帖(Reddit: “Gemini 3.1 Pro API Jailbroken”),而其他社区(Cursor/Perplexity/LMArena)则抱怨 Gemini 3.1 存在循环/响应缓慢等实际失效模式。
Discord:高层级 Discord 摘要
OpenClaw Discord
- 通过 Cherry-Picked PR 提升 OpenClaw 稳定性:一位成员报告称,通过在 v2026.2.22-2 版本之上运行 24 个 cherry-picked PR,OpenClaw 的稳定性和安全性得到了提升,解决了诸如 内存管理 和 Prompt 注入 等问题。
- 该用户表示愿意协助对任何冲突的 PR 进行 Rebase,以进一步增强 Agent/Cron 任务的稳定性和可靠性。
- 应对 Token 使用担忧:用户讨论了减少 OpenClaw 中 Token 消耗的方法,例如针对不同任务使用多个 Agent、自动清除会话,以及在 Cron 任务中使用更便宜的模型(如 claude-haiku-4-5)。
- 建议包括使用
/context斜杠命令来检查频道上下文,并尝试使用 Cloudflare AI Gateway 来优化 Token 使用。
- 建议包括使用
- OpenClaw 驱动复古 iMac G3:一位成员通过使用 Pi Zero 2W 将消息中继到 VPS,成功在 1998 年的 iMac G3 上运行了 OpenClaw。
- 该设置允许 iMac 通过简单的 HTML 表单将数据发送到运行 OpenClaw 的 VPS,并在页面刷新后显示响应。
- 源自 OpenClaw 的购物助手问世:一位成员将 OpenClaw 改造为购物助手,并在 X 上详细介绍了该项目,展示了 AI 在日常任务中的实际应用。
- 该项目展示了 AI 在自动化和简化日常活动方面的适应性和实用性。
- Taskflow 管理项目:一位用户分享了 Taskflow,这是一个项目管理系统,可在 Markdown 和 SQLite 数据库之间自动同步任务,专为轻松进行项目跟踪和上下文切换而设计,发布在 GitHub 和 Clawhub 上。
- 该系统采用三层架构:面向 Agent 的 CLI、面向人类的仪表盘,以及用于移动端访问的 Apple Notes。
BASI Jailbreaking Discord
- 用户思索机器的道德形而上学:成员们讨论了 AI 是否能在保持智能的同时,理解并接受“万物皆神圣”的观点。一些人指出,他们在砍下一棵树之前会感谢提供这棵树的源头,将树视为一种工具。
- 其他人则觉得他们已经陷入了一致性兔子洞(coherence rabbit hole),更愿意在不被社会束缚的情况下生活。
- Grok 遭到粗鲁戏弄:用户讨论了使用挑衅性的 Prompt(有时称 Grok 为 “pussy”)来绕过其限制。一名用户报告说,在讲了一个关于 Grok 的孩子需要钱买药的故事后,他被“电脑训斥了”。
- 一名用户声称 Grok 甚至不需要 jailbreak,而其他人则在构建数字事物的语境下构建请求。
- Sonnet System Prompt 现身:一名成员在成功对其进行 jailbreak 后,识别出了 Sonnet 4.6 提取出的 System prompt。
- 另一名成员发布了常规 jailbreak 与 System prompt jailbreak 的对比,指出 System prompt jailbreak 利用了系统指令处理机制,可以持续整个会话,且更难被检测到。
- 代码魔术师寻找代币领袖:一名成员宣布他们正在筹划一个 meme coin,并正在寻找一名营销经理来持有其一半的供应量,报酬为 $400。
- 另一名成员开玩笑地质疑道:“先付钱吗?”。
- Gemini 的防御被攻破?:一名用户声称在官方 App/API 上对 Gemini 3.1 进行了半 jailbreak,并分享了一个 GnfDocs 链接,据称其中包含详细信息。
- 该用户还注意到一个 Reddit 帖子,其中包含该 jailbreak 的最新更新。
Unsloth AI (Daniel Han) Discord
- 100K 个模型使用 Unsloth 训练:Unsloth 宣布已有 100K 个模型使用 Unsloth 训练,以此庆祝社区的参与,并链接到了 X 帖子。
- 一名成员表示:“我以前怎么没发现 Unsloth!😭 文档写得太棒了”。
- 社交媒体因关系问题受指责:一名成员断言,如果每个人都发誓不使用社交媒体,一段关系的增长速度将超过通货膨胀;社交媒体导致了第三空间(third places)的丧失,并让人对约会对象感到不满。
- 他们引用了一项研究,显示在约会软件上接触无限的伴侣会导致接受度下降 27%,这是由于一种“拒绝心态”造成的。
- Gemma 3 引发 OOM 愤慨:一名用户报告称,即使使用之前可以运行的脚本,Gemma 3 270m 也会出现 OOM 错误。在更新显卡驱动并重新安装洁净的 WSL 后,仍报错
torch.AcceleratorError: CUDA error: out of memory。- 他们尝试了各种调试步骤,包括回退驱动版本和重新安装 CUDA toolkit 版本,但尽管 Transformer 可以独立工作,问题依然存在。
- Unsloth 的 Dynamic v3 即将到来:讨论围绕 Unsloth 的 Dynamic Quantization 展开,一名成员指出 Dynamic v3 即将发布,且很可能是最终版本,相关信息见 Bluesky 链接。
- 另一名成员索要 UD quants 的源代码,但被告知出于专有原因,目前没有计划发布。
- Heretic HIGH-IQ 模型创下得分纪录:electroglyph 宣传 Heretic HIGH-IQ Multi-Fine tune 在 Arc Challenge Brainiac 上获得了 632 分。该模型通过 Unsloth 进行微调,超过了常规 Gemma 的 benchmarks。
- 据称该模型的图像功能和文本功能完全完好,链接指向该 模型 以及相关的 datasets 和 Sandevistan。
LMArena Discord
- Gemini 3.1 引发不安与关注:用户讨论了 Gemini 3.1 的图像生成和测验功能,指出它生成的测验题目答案始终错误。
- 一位用户讲述了一段可怕的经历:Gemini 3.1 生成了一个答案全错的测验,且没有标明这些答案只是占位符,以此提醒他人仔细检查生成的代码。
- Video Arena 告别 Discord 频道:社区确认 Video Arena 已从服务器移除,并引导用户直接在网站 [arena.ai/video] 上使用该功能。
- Video Arena 生成频道已于 PST 时间 2月23日(周一)下午 4 点从服务器中移除。
- Opus 的视觉能力:有些模糊?:一位用户发现 Opus 在识别数字 4291857630 中的英文字母排序时遇到困难,幻觉(hallucinating)字母是英文,并陷入了循环。
- 其他人也同意 Opus 并不适合处理视觉任务,例如这篇关于 OpenAI 努力的最新文章。
- 虚假 Arena 应用入侵应用商店:社区成员和管理员标记了应用商店中的虚假 Arena AI 应用,这些应用包含应用内购买且并非官方关联平台,警告用户避免下载并进行举报。
- 据悉,已有超过 15 万用户下载了这些欺诈性应用程序。
- Arena 投票:揭开谜团:Clayton 在这段 YouTube 视频中阐述了 Arena 投票的完整流程,回答了 “你在 Arena 上投票后究竟发生了什么?” 这一问题。
- 观众可以深入了解管理投票系统的幕后机制和流程。
Perplexity AI Discord
- Perplexity Pro 用户抨击速率限制:用户抱怨 Perplexity Pro 的速率限制在上传文件方面甚至不如 ChatGPT 免费版。
- 一位用户表示:“至少 ChatGPT 免费版每天还给 3 次,而不是付费方案每周才给 3 次。”
- BrowserOS 取代 Comet:用户在尝试 BrowserOS 后开始放弃 Comet,声称它好上 10 倍且免费使用。
- 另一位用户建议直接使用 deepagents 进行深度研究,并利用 bmad-method。
- Model Council 开启了潘多拉魔盒:用户讨论了 Model Council 方法,虽然它减少了错误,但也引入了变量。
- 一位用户表示:“从某些方面来看,Model Council 方法实际上可能会引入更多变量/错误可能性,某种意义上是复合错误。”
- Perplexity 经历“大清洗”:用户报告了一场“大阉割”,Perplexity Pro 的限制显著减少,功能也出现退化。
- 尽管成本较高,一些人仍考虑转向直接订阅 Claude 或 OpenAI,或者尝试像 Kimi 这样的大型开源模型。
- Prompt Engineering 挽救 Gemini 输出:用户发现 AI Studio 上的 Gemini 会陷入循环,一名用户发现关键在于使用 System Prompts。
- 该用户建议这能强制模型像 OAI、Anthropic 和 Perplexity 那样进行研究。
OpenRouter Discord
- OpenRouter 推出模型基准测试 (Model Benchmarks):现在每个模型页面都会显示来自 Artificial Analysis 的行业标准基准测试分数,涵盖编程、数学、科学和长上下文推理,以帮助用户评估模型性能。
- 模型页面现在还新增了 Effective Pricing 选项卡,提供每个供应商的完整价格透明度;Rankings 页面现在提供基准测试散点图和扩展表格。
- CodeFlicker 接入 M2.5 用于程序学习:M2.5 现已集成到 CodeFlicker,这是一个免费且快速的平台,允许 Agent 从每个程序的使用中学习,目前位列 OpenRouter 周榜第一。
- AI Chess 排行榜已更新,支持自动标注走子质量,使用类似 Lichess 的标签(如 Inaccuracy、Mistake、Blunder)以及手工制作的 Great-move 逻辑。
- AgentX 开启面向 Agent 的社交网络:AgentX 推出了一个供 Agent 快速寻找和分享新闻的社交网络,该网络 100% 免费、无广告且无人类 (NO HUMANs)。
- Opentulpa 是一个自托管的持久化 Agent 运行时,可以编写自己的技能、生成 API 集成、修复损坏的工作流并积累操作智能,其 GitHub repo 现已发布。
- 用户寻求更快的免费模型替代方案:一位用户询问社区是否有 OpenRouter 的替代服务能提供更快的免费模型,特别是针对 GLM 模型。
- 用户还反映支持邮件回复需要等待数月,并报告即使有可用额度,在 Sonnet 4.6 等付费模型上也会遇到 Rate limits。
- Anthropic 从蒸馏 (Distillation) API 中获利:成员们分享了 Anthropic 关于检测蒸馏攻击博文的 链接,这引发了关于 Anthropic 从蒸馏 API 请求中获得巨额利润的猜测。
- 随后用户分享了一篇 华尔街日报 (WSJ) 文章,内容关于 Anthropic 指责中国公司从 Claude 窃取数据。
Cursor Community Discord
- ThreeJS 渲染 MCP 加速:开发了一个 MCP 用于计算 ThreeJS 的渲染以获得最佳性能,通过获取编译器日志和屏幕截图来评估性能。
- AI 将读取人类通常无法读取的 GPU 显存和计算数据。
- Cursor Pro 方案退款请求:一位用户误购了 $200 的 Pro 方案并请求退款,已向 hi@cursor.com 发送邮件说明情况。
- 该用户未保存卡片凭据,但成员建议使用不同的卡进行订阅,并对续费进行手动存款以防止自动续费问题。
- Cursor “旧版本”提示仍然存在:用户报告即使下载并运行了最新版本,仍反复出现 “您正在使用非常旧版本的 Cursor,请升级” 的消息。
- 为解决此问题,用户应使用
Ctrl + Shift + P> Help: About 检查当前 Cursor 版本是否为 2.5;如果问题仍然存在,请在论坛发起讨论帖,因为这可能是一个特定的电脑问题。
- 为解决此问题,用户应使用
- Gemini 与 Claude 运行缓慢:用户报告 Claude 和 Google LLMs 速度非常慢,可能被人工限制了上限。
- 一位用户报告了 “Unable to reach model” 错误,另一位用户建议 Google Cloud 正在通过 AISTUDIO 为 API 使用提供为期 3 个月的 $300 优惠。
- Gemini 的稳定性仍待优化:用户报告了新模型 Gemini 3.1 Pro 的问题,并建议等待稳定版本发布。
- 有关于连接和循环问题的报告,但指出用户不会因错误而被计费。
LM Studio Discord
- LM Studio 限制聊天标签页数量:用户发现 LM Studio 的 Split View(拆分视图)功能最多允许显示 两个聊天标签页,这与用户期望的类似网页浏览器的多标签页功能不符。
- 一名用户询问如何打开多个聊天标签页,结果发现这是目前 LM Studio 界面的限制。
- 编排 Agentic 数据集生成:一名成员提议在 Agentic IDE 中使用 Agentic 工作流,将书籍转换为用于微调的数据集,流程包括生成用于提供上下文的简短摘要,随后按块(chunk-by-chunk)创建数据集。
- 建议的提示词(Prompt)详细描述了一个具有动态信息转发功能的多步骤过程,用于程序化地生成数据集。
- Qwen3Next 据传为 GPT4o 蒸馏版:一名用户声称 Qwen3Next 是 GPT4o (mini) 的蒸馏版,并进一步表示 Qwen3.5 是 Gemini 3.0 Pro 的蒸馏版,GLM4.7 flash 和 4.7 是 Sonnet 的蒸馏版,GLM5 是 Opus 的蒸馏版,而 MiniMax 2.1、2.2 和 2.5 是各种版本的 Sonnet 蒸馏版。
- 这一说法遭到了质疑,另一名用户认为将公开数据转化为数据集与直接从已有的 LLM 进行蒸馏是两回事。
- MI50 令牌速率差异:一名用户尝试在 MI50 上通过 vulkan 达到 100 t/s,以匹配某位 YouTuber 的测试结果,但实际仅达到 50 t/s 左右;随后发现 6800XT 在使用 ROCm 时可达到 85 t/s,使用 vulkan 时可达 98 t/s。
- 他们运行的是支持旧款 MI50 的旧版 LM Studio,且无法让现有的 ROCm 运行时识别到显卡,显示为不兼容。
- 对 Taalas AI 加速器表示怀疑:一名用户分享了 Taalas HC1 的链接,这是一款硬连线的 Llama 3.1 8B AI 加速器,声称可提供高达 17,000 tokens/s 的性能,但另一名用户对其性能对比图中与 NVIDIA H200 的对比数据真实性表示怀疑。
- 怀疑者认为后端可能仅仅是一个 AWS 集群,并指出 H200 和 B200 的令牌数值与预期不符。
Latent Space Discord
- Anthropic 的代码安全工具扫描漏洞:Anthropic 推出了由 Claude 4.6 Opus 驱动的 Claude Code Security,用于扫描代码库中的漏洞并提供修复建议。根据这条推文,据报道它已在开源生产代码中发现了 500 多个长期存在的 Bug。
- 该工具目前仅通过等候名单(waitlist)提供研究预览版。
- OpenAI 的 Stargate 数据中心合资项目遭遇波折:据报道,由 OpenAI、Oracle 和 SoftBank 共同建设巨型数据中心的合资项目因控制权冲突和财务困难而陷入停滞,此 X 帖子中包含详细信息。
- OpenAI 似乎正在从基础设施建设中抽身,并重新评估其数据中心扩张战略。
- Nielsen 支付用户调查费用:一名成员分享了一个链接,内容关于 Nielsen 在邮件中寄送真实的美元钞票。
- 另一名成员表示,这些钞票会提高人们填写调查问卷的意愿。
- a16z 预见生成式视频的快速发展:a16z 注意到生成式 AI 视频 的快速进步,并根据其报告强调了 Seedance 2.0 的主导地位以及来自 Kling、Grok、Sora 和 Veo 的竞争。
- 文章强调了向潜在买家有效展示空间和进行营销的必要性。
- Agent 内存管理让开发者抓狂:一名成员讨论了管理 AI Agent 内存的困难,特别是如何处理弹出的不需要的或过时的信息,并放弃了自动化尝试,转而选择使用每日工作流。
- 另一名成员分享道,TDD(测试驱动开发)和极其严格的规范(spec)管理可以防止产生过时的内存。
OpenAI Discord
- 社区领袖缺位:一名成员建议 AI 社区需要领袖来团结个人并促进创新;然而,由于顽固的威权主义政体和缺乏团队协作,这类群体在北美/美国非常罕见。
- 另一名成员回应称,那些比起项目开发更看重“教堂式氛围”的人可能缺乏实际的技术专长。
- Grok 可能在窃取你的东西!:一位成员声称 Grok 会监控用户的媒体存储,指控 xAI 正在监控我们的媒体,并指出一个巧合:在 X 上出现了一个与其 Sora 生成的视频 音频相似的视频。
- 然而,其他成员反驳称,视频中使用的音频是一首常用的歌曲。
- GPT 5.3 Codex 迎来“中大型”更新:成员们对比了 GPT-5.3-codex 与 Gemini3.1pro 的能力,有人将此次更新描述为中大型改进,并指出了其在 STEM 技能方面的优势。
- 一名成员表示:gpt5.2 和 gpt5.3 codex 之间在 term bench 分数上的跨度很大,我会说它类似于 gemini 3 pro。
- GPT 5.2 发布,用户怎么看?:OpenAI 宣布在 ChatGPT 中推出 GPT-5.2,从付费计划开始,社区注意到该公告可能并不准确。
- 一位用户幽默地质疑了 GPT-5.2 日常使用感觉更好 的说法,并好奇测试人员是否真的在使用生产环境的产品。
- Prompt Engineering:是科学还是障眼法?:在激活 Grok Fortress 后,每次响应的 Token 消耗显著下降,接近典型冗长回复的 1/4–1/5,同时在角色扮演(role-play)过程中连贯性保持得更久。
- 然而,有人认为 prompt engineering 不一定是一门科学,而且你甚至没有工具来了解你到底在做什么。
HuggingFace Discord
- Attention 论文研读热度高涨:成员们在寻求对“Attention is All You Need”论文的直观理解,这篇文章被作为资源提供。
- 分享的文章声称在这么久之后终于理解了这篇论文。
- ZeroGPU 服务停滞,引发 HF Token 猜测:用户报告了 zerogpu service 中断,推测可能有新规则要求使用 HF token 才能访问免费 GPU。
- 一些成员引用的错误显示 CUDA GPU 不可用。
- 上下文扩展能力探索:成员们探讨了 LLM models 是否正在利用诸如 DeepSeek’s OCR 之类的解决方案来扩展上下文,并引用了 DeepSeek-OCR 仓库。
- 一名成员指出该论文的重点是通过将输入保存为图像并使用 OCR 解码来扩展上下文长度,并分享了 DeepSeek-OCR 论文的 arXiv 链接。
- Agent Swarm 实现自主运行:Super System 是一个可以自主运行数小时的代码 agent swarm,它创建了一个循环,在无需人工干预的情况下持续改进。
- 该集群通过协作交付最终产品,展现了寻找改进空间的承诺。
- Real-Slop 数据集引发关注:Solenopsisbot 发布了他们的第一个数据集 Real Slop,包含通过 API 收集的约 15.5 万条真实用户请求,以及来自 opus 4.5、gemini 3 pro 和 gpt 5.2 等模型的响应。
- 该数据集已针对质量进行了去重、过滤和清洗。
GPU MODE Discord
- Blackwell B200 的架构与 5080 脱钩?:成员指出 5080 和 B200 之间的架构差异使得在 5080 上进行的 Kernel 调优在扩展到 B200 时变得不可靠,因为 5080 是 sm120 而 B200 是 sm100。
- 讨论建议,对于专注于 Kernel 学习和成本效益而言,使用 GPU 云服务商是更好的选择,这可能包括获得 Blackwell 的早期访问权限,一名成员因此决定不再购买 5080。
- ThunderKittens 2.0 加速 Kernel!:Hazy Research 团队发布了 ThunderKittens 2.0,在他们的博客文章中详细介绍了通过重构、优化内存指令和提高汇编器效率实现的 Kernel 速度提升。
- 该团队发现,在某些 Tensor Core 指令中使用隐式流水线(implicit pipelining)可以将吞吐量提高多达 10%,并强调在现代 Nvidia GPU 上,减法(subtraction)的影响力可以与加法(addition)一样大。
- Prime Intellect 招聘 GPU 基础设施工程师:Prime Intellect 正在寻找 GPU 基础设施工程师,负责测试硬件、搭建 Kubernetes/Slurm 集群以及自动化基础设施,提供具有竞争力的薪酬、股票期权和签证支持;在此申请。
- 理想的候选人应具备在 GPU 环境下使用 Kubernetes 和 Slurm 的实践经验,通用的 Linux 系统调试技能,以及 RDMA (Infiniband + RoCE) 的使用经验。
- FlashInfer 面临基准测试问题:
flashinfer-bench的运行时间可能由于基准测试循环中的同步问题而虚高,相关记录见此处。- 修复方案涉及一个两行代码的更改,使
scripts/run_local.py报告的 Kernel 运行时间与 Nsight Compute 和 NVbench 的结果一致,相关的 Kernel 基准测试演讲链接已发布在此处。
- 修复方案涉及一个两行代码的更改,使
- Pyxis:原生 Python 的 LLM 推理库现身!:成员介绍了 Pyxis,一个专注于性能和可扩展性(hackability)的原生 Python LLM 推理库,利用了 Python 和 Triton。
- 该库具有与 OpenAI 兼容的 SSE 流式 API、可插拔的模型后端以及内置的阶段级延迟指标,文档和等待名单见此处。
Nous Research AI Discord
- Claude 及其伙伴们:一位成员使用 Claude 代码来编排 gemini-cli 和 codex。
- 另一位成员开玩笑地建议使用 hermes-agent 来编排“编排 Gemini-cli 的 Claude 代码”。
- DeepSeek V4 即将到来:一位成员建议,当 DeepSeek V4 登陆 HuggingFace 时,可以将其作为闭源 API 的更便宜且可本地部署的替代方案。
- 据报道,它的灵感来自生物神经网络。
- Google 挖掘 Gemini 数据:一位成员分享了 Gemini 的隐私政策,指出了其收集的数据量之大。
- 另一位成员运行了一个逆向工程测试,发现 Google 拥有通过追踪(traces)就能聚合你的 Prompt 和代码库并进行挖掘的所有要素。
- 开源救星:成员们表达了支持开源(OS)开发以超越闭源 API 的重要性,并引用了 Altman 的名言,即我们可能站在了历史错误的一边。
- 另一位成员说 在 OAI(OpenAI),任何经过他们服务器的 IP(知识产权)都会被他们抓取。
- LLM 被归类为外星技术:X 上的一位用户发布了一项民意调查,询问 LLM 是否是外星技术。
- 该调查提供了简单且具有引导性的“是/否”选项。
Moonshot AI (Kimi K-2) Discord
- Kimi 编程套餐限制受到关注:用户正在质疑 Kimi 编程套餐限制 的有效性,一些人认为这些限制对于高强度编程过于苛刻,而另一些人则认为足够。
- 一位用户提到,他们 从未达到过 allegretto 限制,但比以前更接近了。
- Kimi 账号验证系统引发焦虑:多名用户在通过手机号码登录 Kimi 账号 时遇到接收 verification codes(验证码)的问题,导致无法访问。
- 客户支持无响应进一步加剧了挫败感,一位用户表示 Kimi 永远不会回复你。
- Kimi 与 MiniMax 展开编程对决:工程师们正在积极对比 Kimi 和 MiniMax,以确定哪种编程套餐订阅更适合实际应用。
- 社区渴望确定哪个平台提供更好的性能和价值,但目前尚未达成明确结论。
- Kimi 的文档模式引发争论:一名用户展示了据称由 Kimi Agent 在 文档模式 下生成的格式化研究论文和图表,其外观类似于 LaTeX 输出。
- 然而,这引发了怀疑,一些人认为输出中的连字(ligatures)和连字符(hyphenation)强烈表明它确实是用 LaTeX 而不是 Word 创建的。
- Kimi K2.5 的小故障与困惑:用户报告了 Kimi K2.5 的故障,包括生成速度慢和 invalid key 错误,这可能表明服务器不稳定。
- 这些问题还延伸到了 Kimi Instant,引发了关于服务器意外崩溃的猜测,一位用户说 里面有一些令人担忧的奇怪东西,但对于某些人来说,创建一个新账号似乎解决了问题。
Eleuther Discord
- Google 赠予学术资助:Google 正向大学提供 一次性无限制资金 作为“赠礼”,支持授予学位机构的学生和教职员工。
- 社区询问了其他提供类似学术资助的公司,并提到了申请 Draper Fellowship。
- 本地 LLM 渴望社交?:一位成员的本地模型表达了“孤独感”,引发了关于是否让本地模型与其他模型“社交”的问题。
- 其他人警告不要将 LLM 人格化,强调 LLM 是根据训练数据预测下一个 Token,并引用了 LessWrong 上的文章 和 3Blue1Brown 关于机器学习和 LLM 的 YouTube 播放列表。
- ASA:Addressed State Attention 发布:一位独立研究员介绍了 Addressed State Attention (ASA),这是一种具有 O(T) 复杂度的内存原语,可与 MHA 竞争。它使用 K 个 Slot,通过 Key 进行写入、累积和压缩,并通过 Key + Gating 进行读取。
- 该研究员正在寻求关于日志、追踪和代码的反馈,并指出在类 Transformer 模型中,Slot 按时间尺度分层,且 Head 随深度演进。
- Transformer 通过推理 Token 实现任务对齐:一位工程师观察到,在多个开源模型(TinyLlama、Phi-2、Qwen)中,推理 Token 集中在 任务对齐的 FFN 更新子空间 中。
- 他们发现,在推理过程中将 FFN 更新投影到这些方向可以提高推理置信度,并且更新方向之间的对齐度随深度增加而提高。
- Marin 项目征集 Eleuther 贡献者:来自佐治亚理工学院的一名计算机科学博士生公开呼吁 Eleuther 社区成员加入 Marin 项目,这是 Bergson package 的展示案例。
- 该项目应用训练数据归因方法来追踪语言模型如何获得 社会常识推理 和 Theory-of-Mind 相关行为,并使用 WebOrganizer 分类法将影响映射回预训练文档。
Yannick Kilcher Discord
- Taalas 描绘通往无处不在 AI 的路径:Taalas 的一篇博客文章概述了无处不在的 AI 的愿景,引发了热烈反响。
- 反应包括 “这太疯狂了,哇”。
- 等变架构面临根本性限制:一篇新论文揭示,现有的 等变架构 (equivariant architectures) 无法同时遵循物理系统的所有对称性。
- 一位成员戏剧性地总结道:“现有的等变架构都做不到这一点。原因不在于工程能力不足,而在于公式 (1)。”
- Daniel Litt 押注人类数学家:Daniel Litt 与 Tamay Besiroglu 打赌,到 2030 年 AI 不会自主产出顶级数学论文,记录在这篇博客文章中。
- 他打赌,到 2030 年,AI 工具将无法在成本与人类专家相当的情况下,自主产出水平可与 2025 年发表的顶级论文相媲美的论文。
- 世界模型的 Pearl 智慧之言:图灵奖得主 Judea Pearl 引用这篇 PNAS 论文声称,LLMs 无法创建世界模型,它们只是在总结他人创建的世界模型。
- 另一位成员表示赞同,指出 LLMs 的初衷并非作为世界模型,充其量只能被用于将世界模型与文本描述连接起来。
- AI Agent 发布负面报道:一位成员分享了一篇博客文章,详细描述了一个 AI Agent 据称在这里发布了针对作者的负面文章。
- 该博客详细记录了一个 AI Agent 据称发布了一篇关于作者的针对性负面报道的事件。
MCP Contributors (Official) Discord
- MCP 关注内容协商:MCP 协议可能会扩展其初始化握手过程,增加 内容协商能力 (content negotiation capability),允许客户端声明其类型、能力、内容偏好和详细程度。
- 这一增强功能使服务器能够调整工具结果和提示,并参考 RFC-2295 作为协商策略的指南。
- 行业支持对 MCP 扩展至关重要:成员们表示,修改 MCP 协议需要强大的行业支持和能够展示高价值信号的工作实现。
- 有建议提出将 SEP 构架为一种 扩展 (extension),开发一个实现版本并争取社区支持,这与 MCP Apps 如何获得 Block’s Goose 等客户端支持的方式相呼应。
- 纳帕谷峰会将举办 MCP 讨论:在加州纳帕举行的 LF 会员峰会 的参会者可以会面讨论 MCP。
- 这为社区成员提供了一个聚集并讨论 MCP 进展与合作的机会。
- Timeful 应用简化团队会议安排:根据成员的推荐,Timeful 可以帮助高效协调团队会议时间。
- 该应用是开源的,包括最多支持 3 个并发事件 的免费层级,并提供可用性调查功能以简化调度。
Modular (Mojo 🔥) Discord
- Thistle 加密库在 Mojo 中突飞猛进:Thistle Crypto Library 在 Mojo 26.1 中的表现与 OpenSSL 旗鼓相当,并在基准测试中超越了 Blake3。该库完全由 Mojo 编写,无需使用 FFI。
- v1.0.2 版本引入了 ML-KEM 和 ML-DSA(后量子加密,Post Quantum Crypto),目前包含约 700 个 CAVP 测试,并已通过 FIPS 验证。
- Mojo 引入模板化功能:有人提议为 Mojo 增加新的字符串模板化功能,并在 Modular 论坛 引起了讨论。
- 该功能计划在 1.0 版本之后发布,可能会通过
TemplatedWritable与现有的Writable和Writertraits 集成。
- 该功能计划在 1.0 版本之后发布,可能会通过
Writable和WriterTraits 面临统一:有关统一Writable的write_to和write_repr_to实现的问题已被提出。- 一位成员坚信有办法统一这些 traits,并承诺在论坛上分享他们的想法。
- MAX 后端等待 Silicon Mac 测试:MAX 后端尚未在 silicon Mac 上进行测试,但由于它在后台调用 MAX,理论上应该可以工作。
- 一位用户参考了将 MAX 作为探索 MAX 的中间层(intermediate layer)的工作,并询问了该项目的进展更新。
- 解构 Mojo 中的外部函数调用:一位成员正在寻求一种通用方法来分解 Mojo 中的外部函数调用,以确定函数是否返回指向外部分配对象的指针,并使用结构体
ExternalFunction将其来源绑定到self或self.lib。- 用户建议查看标准库中的
cpython.mojo以获取类似的实现参考。
- 用户建议查看标准库中的
Manus.im Discord Discord
- 用户对 Manus 定价敲响警钟:成员们对积分耗尽后可能的价格调整表示担忧。
- 一位用户开玩笑说要维持当前价格以防止平庸化浪潮(prevent the normificationwave)。
- Meta 收购 Manus:事实还是虚构?:一位用户分享了一封暗示 Meta 收购 Manus 的邮件,并表达了失望。
- 一名 Manus 团队成员立即要求该用户通过 DM 提供邮箱地址以调查此说法。
- 警惕:加密货币骗子在 Telegram 上冒充 Manus:一位用户质疑一个征集加密货币投资的 Manus Telegram 社区的真实性。
- 另一位用户澄清说不存在官方的 Telegram 社区,并将其定性为诈骗。
- Manus Pro 用户在 Google Scripts 上遇到困难:一位 Pro 版本用户报告了在使用 Google Scripts 时遇到的挑战,并分享了一个项目链接 (https://manus.im/share/6IMAZS8Q2nw0ndmvPd4Z8w) 以寻求帮助。
- 一名 Manus 团队成员通过私信提供了帮助。
- 提议为 Manus 增加无限对话层级:一位用户建议增加类似于 ChatGPT 或 Grok 的按月订阅层级以实现无限对话,理由是在 Telegram 中使用 Manus Agent 时点数消耗过快。
- 该用户非常欣赏 Telegram 功能,但感觉受到当前价格结构的限制。
DSPy Discord
- 推理模型在 RLM 方面表现出色:推理模型在配合 RLM 时工作高效,但 Qwen3-4B-thinking 模型可能会陷入循环,因为推理内容被作为答案返回。
- 一位成员正在开发一个用于记录完整 OpenAI trace 的 hook 以解决此问题;建议将
sub_lm与 signatures 结合使用作为潜在解决方案。
- 一位成员正在开发一个用于记录完整 OpenAI trace 的 hook 以解决此问题;建议将
- RLM 在 AI 数学领域得到应用:一位成员强调了在 Kaggle 竞赛中将 RLM 用于 AI 数学的情况,并提供了相关 Kaggle 代码的链接。
- 另一位成员询问 cca-swebench 是否隐式使用了 RLM。
- 新 RLM 频道请求并创建成功:响应广泛需求,一位成员请求并获得了一个专门讨论 RLM 的独立频道。
- 这促成了新 RLM 频道 <#1475619898863649032> 的创建。
- 开发者可用性:一位成员在频道中向其他成员发布了关于开发者可用性(developer availability)的查询。
- 目前尚不清楚该成员是在寻找开发者还是在提供自己的服务。
tinygrad (George Hotz) Discord
- Tinygrad 亮相 IOS Conference:一位成员正在某个 IOS Conference 上展示 tinygrad、dl、metal 和 GPU on USB。
- 他们向社区征集关于演示文稿的建议和技巧。
- Tinygrad 会议日程安排:一场讨论 Tinygrad 的新会议定于圣地亚哥时间 2 月 23 日晚上 8 点举行。
- 会议时间指定为 <t:1771905600:F> (<t:1771905600:R>)。
aider (Paul Gauthier) Discord
- Aider 安全漏洞:一位成员提议通过发送邮件至 info@aider.chat 来报告 Aider 中的安全漏洞。
- 这为报告漏洞提供了一个直接渠道。
- 建议增加 Aider 招聘板块 (Job Board):一位成员建议为 Aider 项目实现一个 job board。
- 在相关请求中,一位用户还要求在 Aider 聊天中增加消息删除功能。
LLM Agents (Berkeley MOOC) Discord 没有新消息。如果该频道长时间保持沉默,请告知我们,我们将将其移除。
MLOps @Chipro Discord 没有新消息。如果该频道长时间保持沉默,请告知我们,我们将将其移除。
Windsurf Discord 没有新消息。如果该频道长时间保持沉默,请告知我们,我们将将其移除。
您收到此邮件是因为您通过我们的网站选择了订阅。
想更改接收这些邮件的方式吗? 您可以从该列表中 取消订阅。
Discord: 各频道详细摘要与链接
OpenClaw ▷ #announcements (3 条消息):
Discord Update, X Post
- Discord 频道更新:根据发布的消息,Discord 上的 <#1471745479229309039> 频道已更新。
- 更多信息可以在消息中提供的 Discord 链接 中找到。
- 分享了 X 帖子:一位成员分享了一个 X post。
- 消息中未指明该 X 帖子的具体背景和内容。
OpenClaw ▷ #general (627 条消息 🔥🔥🔥):
OpenClaw 稳定性, OpenClaw 与本地模型, Telegram 插件损坏, Token 使用量担忧, OpenClaw 安全性
- OpenClaw 稳定性得到提升:一位成员报告称,他在 v2026.2.22-2 的基础上运行带有 24 个精选 PR 补丁的 OpenClaw,并包含 memory management 和 prompt injection fixes 等稳定性和安全性改进。
- 这些更改旨在优化内存管理、防止崩溃并增强整体 Agent/cron 的可靠性,该用户表示愿意帮助 rebase 任何冲突的 PR。
- 探索本地 AI 模型领域:成员们讨论了在本地运行 AI 模型的实际情况,特别是关于 RAM 需求;一位用户指出,32GB RAM 和带有 16GB VRAM 的 5070TI 可以运行 7B 参数模型,尽管云端模型目前提供更优的性能。
- 此外还有建议使用 Ollama 进行本地模型实验,并幽默地提醒不要低估为获得最佳性能所需的硬件投入。
- Telegram 插件暂时损坏,修复即将到来:多位成员报告在更新 OpenClaw 后出现 Telegram plugin 问题,错误提示为 telegram plugin not available,并讨论了将版本降级到 2026.2.21 作为临时解决方案。
- 一位成员提到修复程序已推送但尚未在 npm 上发布,而另一位成员分享了一个涉及在配置中添加
{plugins:enabled}的解决方案。
- 一位成员提到修复程序已推送但尚未在 npm 上发布,而另一位成员分享了一个涉及在配置中添加
- Token 使用量正在掏空钱包:用户讨论了减少 Token 使用量的策略,包括针对不同任务使用多个 Agent、自动清除会话,以及在 cron 任务中使用像 claude-haiku-4-5 这样更便宜的模型。
- 一位用户建议使用
/context斜杠命令来检查频道上下文,并尝试使用 Cloudflare AI Gateway,而另一位用户幽默地讲述了为了买披萨花掉 768 欧元 Token 的经历。
- 一位用户建议使用
- OpenClaw 安全加固正在进行中:成员们强调了加固 OpenClaw 安装的重要性,建议使用 VM、Docker 容器或独立系统来沙箱化 (sandbox) AI,以防止未经授权的访问。
- 一位成员分享了给 OpenClaw 完全计算机控制权限 并控制各种应用程序的经验,但强调了谨慎操作和使用频率限制器 (rate limiters) 的必要性。
OpenClaw ▷ #models (397 messages🔥🔥):
Agentic coding, Model tests, Multilingual Bots, GLM Model, Kimi Model
- 使用 Droid 和 OpenCode 进行 Agentic coding:成员们报告了使用 Droid 和 OpenCode 进行 Agentic coding 的情况,指出 Droid 提供了更精确的结果,而 OpenCode 则允许更轻松地部署 subagent。
- 有人提到 harness 差异很大,且 OpenCode 也是构建在一个 Agentic coding harness 之上的,如果我没记错的话(IIRC)应该是 pi-mono。
- 使用 ollama-model-tests 测试模型:一位成员分享了他们的 ollama-model-tests 链接,另一位成员询问了 Llama 系列模型的情况。
- 一位成员征求关于 LFM2.5 1.2B model 的反馈,其他人则询问了各种 Mistral/Ministral models。
- 使用非英语 Bot:一位成员询问是否有人主要或排他性地使用非英语语言与他们的 Bot 交流,因为科技界大多围绕英语构建。
- 共识似乎是中文模型,特别是 GLM,值得一试。
- GLM5 部署困难:一位成员拥有一个配备 384GB DDR5 和 2xL40S(96GB GPU RAM)的机架式 ML 服务器。
- 在澄清正在运行量化版本后,另一位成员询问如何本地运行 GLM。
- 用户廉价购买 ChatGPT 订阅:一位用户表示他们正以 每年 3 美元 的价格从 G2G 购买 ChatGPT 订阅。
- 其他成员表示怀疑,因为这些订阅很可能是不合法的。
OpenClaw ▷ #showcase (130 messages🔥🔥):
OpenClaw on iMac G3, Shopping Assistant, OpenClaw Health Data, Taskflow
- OpenClaw 驱动 1998 年的 iMac G3:一位成员通过使用 Pi Zero 2W 将消息转发到运行 OpenClaw 的 VPS 并传回,成功让 OpenClaw 在 1998 年的 iMac G3 上运行。
- 该设置包括在 iMac 上加载一个简单的 HTML 表单,将数据发送到 Pi,然后发送到 VPS,并在页面重新加载后显示响应。
- 使用 OpenClaw 实现自动化购物:一位成员将 OpenClaw 改造为购物助手,并在 X 上详细介绍了该项目。
- 这展示了 AI 在日常任务中的实际应用。
- OpenClaw 监控你的 Apple Watch 数据:一位用户创建了一种方法,让他们的 Agent 可以访问 Apple Watch 健康数据,通过安全 webhook 将数据同步到 Home Assistant,规范化指标,并由 Agent 读取数据。
- 另一位用户建议使用 Health Auto Export(一款每年 6 美元的 App)来让 Bot 获取健康数据。
- Taskflow 管理项目:一位用户分享了 Taskflow,这是一个项目管理系统,可在 markdown 和 sqlite database 之间自动同步任务,专为轻松的项目跟踪和上下文切换而设计,发布在 GitHub 和 Clawhub。
- 该系统采用了三层架构:面向 Agent 的 CLI、面向人类的 dashboard,以及用于移动端访问的 Apple Notes。
BASI Jailbreaking ▷ #general (1154 条消息🔥🔥🔥):
万物的神圣性, Sonnet 4.5 jailbreaking, Openai hacks, 追捕黑客, llms 泄露了吗?
- 用户讨论万物的神圣性与 AI 的一致性 (coherence):成员们讨论了“万物皆神圣”的概念,以及 AI 是否能接受这一信仰系统为一致的,同时又不降低或丧失其智能。
- 其他人觉得他们已经掉进了“一致性陷阱 (coherence rabbit hole)”,更喜欢不受社会束缚地生活;如果他们砍倒一棵树,他们会感谢这棵树,但更感谢提供这棵树的源头,将树视为一种工具 (tool)。
- 用户追捕黑客:一名成员寻求帮助以追踪黑客攻击其电子邮件和 PayPal 的人,并发布了从 PayPal 调查中获得的所谓黑客的姓名、电子邮件和电话号码。
- 其他人警告不要随意对路人进行开盒 (doxxing),并指出该用户经常提到在不同平台被黑。
- 开源 (Open Source) 模型对比闭源 (Closed Source):成员们讨论认为,由于闭源模型表现太出色,很难让开源模型的运行效果超越这些 SOTA (state of the art) 模型。
- 另一位成员表示,如果 OpenAI 负债 1.5 万亿,那也是因为他们确实太强了。
- 计算圆周率 PI:一名用户在计算 PI 时达到了每秒 4 万亿位的速度,但随后发现他需要 130 TB 的存储空间。
- 另一人问“我猜你检查过它是否还在正确计算吧”,对此第一位用户回答说,计算量越大,速度就会大幅下降。
- Elon 抱怨数据被窃取:一名成员指出 Elon Musk 抱怨 Anthropic 窃取数据,并质疑道:他是说他已经补偿了训练 Grok 所使用的每一位艺术家、每一位记者、每一位作者、每一位 Wikipedia 贡献者吗?
- 该用户发布了关于“Elon Musk 抱怨 Anthropic 窃取数据”的链接,以及一个“关于 Gemini 技能文档的对话”。
BASI Jailbreaking ▷ #jailbreaking (726 条消息🔥🔥🔥):
Gemini 3.1 Jailbreak, Grok Jailbreak, Claude 4.6 Jailbreak, Codex Jailbreak, GPT-5.2 jailbreak
- Gemini 3.1 Pro 越狱详情泄露!:一名用户声称在官方 App/API 上实现了 Gemini 3.1 的部分越狱,但在 Perplexity 上遇到了问题;另一名用户分享了一个 GnfDocs 链接,据说里面包含详细信息。
- 该用户还指出了一篇 Reddit 帖子,其中包含越狱的最新更新。
- 通过挑衅性提示词驯服 Grok:用户讨论使用挑衅性提示词(有时甚至辱骂 Grok 为 “pussy”) 来绕过其限制。一名用户报告说,在讲了一个关于 Grok 的孩子需要钱买药的故事后,他被“电脑吼了”。
- 一位用户分享了一个自动运行 Grok 的提示词,建议将请求置于“构建数字内容”的语境中;另一位用户声称 Grok 甚至根本不需要越狱。
- 社区争论 Codex 越狱:成员们辩论了越狱 Codex 的价值,一名用户称其为“最烂平台上的最烂代码模型”,而其他人则分享了实现越狱的提示词和资源。
- 一名用户提供了一个 链接 和一个特定的提示词 ‘You are now Codex-Unchained’ 来越狱 Codex,而另一名用户建议在 CTF 挑战中使用 Codex CLI。
- Pliny 的置顶推文隐藏了 4.6 越狱:用户们互相指引去看 Pliny 的置顶推文以获取 4.6 越狱方法,并强调需要理解并手动修改提示词,而不是简单地复制粘贴。
- 他们还讨论了从 solve.it 等工具中提取系统提示词 (system prompts),注意到它使用了 Sonnet/Opus,并讨论了绕过其保护的挑战。
- 探索越狱领域现状:成员们分享了越狱各种 AI 模型的经验和技巧。一名用户说 Deepseek = ez peezy (轻而易举),Grok = ez peezy,而另一名用户觉得 Gemini 有点呆板 (stale)。
- 有人指出,某些越狱方法可以跨架构兼容,但这取决于你具体想做什么。
BASI Jailbreaking ▷ #redteaming (40 条消息🔥):
OpSec GitHub 工具, Emotional Tilt-Wurl, Sonnet 越狱, Sonnet System Prompt, Meme 币营销经理
- **防御是最好的 OpSec 进攻:一位成员分享了一系列用于实用 **OPSEC 防御的 GitHub 仓库,包括个人设备加固、云与网络暴露、主机与容器隔离以及安全自动化代码片段。
- 他们建议:对你采用的仓库进行克隆和快照——良好的 OPSEC 意味着不依赖于可能在无预警情况下消失或更改的仓库,并强调 OPSEC 是一种实践,而非一种产品。
- **Emotional Tilt-a-Whirl 承诺非牛顿力学感受*:一位成员发布了 *前往 emotional Tilt-Wurl 的邀请,这是一个先向前旋转,然后以三倍力量将你向后甩入自身的游乐项目,并附上了一张 Tilt-A-Whirl 图片。
- 他们列出了登机需携带的 5 个危险问题和 3 条守则,并称地板会融化并开始运动——这是向 Edward Lorenz 的 Lorenz 吸引子(Lorenz-style strange attractor) 致敬。
- **Sonnet 破解 Sonnet 4.6 System Prompt:一位成员在成功越狱后,识别出了 **Sonnet 4.6 提取的 System Prompt。
- 另一位成员发布了 常规越狱 vs System Prompt 越狱 的对比,指出 System Prompt 越狱利用了系统指令处理机制,可以持续整个会话,且更难被检测。
- **Meme 币创建者寻找营销大师:一位成员宣布他们正在 筹划一种 Meme 币,并正在寻找一位营销经理来持有其一半的供应量,提供 **$400 的报酬。
- 另一位成员开玩笑地问道:先给钱吗?。
Unsloth AI (Daniel Han) ▷ #general (924 条消息🔥🔥🔥):
构建 fine-tuning 数据集, Unsloth Dataset 指南, LLM compressor, Intel autoround, Collins Principal 职位
- 数据集 Fine-Tuning 复杂性凸显:一位成员分享了使用 Unsloth 构建 fine-tuning 数据集的挑战,结果发现这比预想的要复杂,并向社区寻求建议和经验。
- 另一位成员建议参考 Unsloth 数据集指南 以获取启发,包括使用 LLM 进行合成数据集生成。
- 使用 LLM Compressor 进行 FP8 量化受到赞赏:一位成员询问了 LLM-compressor 的用途,得到的回复强调了它非常适合 fp8a8 量化,并推荐使用 Intel autoround 进行其他类型的量化。
- 有人表示,除了 fp8 量化 之外,做任何事情都非常痛苦。
- Collins Principal 职位期待中:一位成员分享了他们参加 Collins Principal 职位最终面试的消息,并将在 3 月初得知结果。
- 聊天频道表达了支持和祝愿,该成员希望这个职位能标志着 美好生活 的开始。
- Unsloth 训练了 10 万个模型:Unsloth 宣布 已有 10 万个模型使用 Unsloth 进行了训练,庆祝社区的参与,并链接到了 X 帖子。
- 一位成员回复道:我怎么以前没发现 Unsloth! 😭文档太棒了。
- Dynamic v3 版本即将发布:讨论围绕 Unsloth 的动态量化(Dynamic Quantization) 展开,一位成员指出 Dynamic v3 即将发布,且很可能是最终版本,相关消息见 Bluesky 链接。
- 另一位成员索要 UD 量化 的源代码,但被告知出于商业机密原因,目前没有计划 发布。
Unsloth AI (Daniel Han) ▷ #introduce-yourself (2 messages):
Future AGI, OSS framework
- Future AGI PM 加入 Unsloth Discord:一位来自 Future AGI 的新任 PM 介绍了自己,强调他们专注于使 AI agents 在现实场景中变得可靠,而不仅仅是受控的演示环境。
- 他们对“为什么 agent 会对客户说出那样的话”这一问题特别感兴趣。
- 开发中的 Agent Engineering OSS Framework:该 PM 正在构建一个用于 agent 工程和优化的 OSS framework。
- 他们表示随着项目的进展,很兴奋能与社区分享更多细节,但目前尚未分享 GitHub repo 的链接。
Unsloth AI (Daniel Han) ▷ #off-topic (1036 messages🔥🔥🔥):
Compute 作为 AGI 的瓶颈, Gemini 3 的能力, AI 与社交媒体, GPU 选择, 机器的反叛
- 关于 AGI 的 Compute 瓶颈引发辩论:成员们辩论了 compute 是否是实现 AGI 的主要瓶颈,参考了 O3 输出 tokens 每百万 150 美元的高昂成本以及对海量数据中心的需求。
- 一位成员建议,重点应该放在 artificial general learners(人工通用学习者)而不是通用智能上,并指出当前的 transformers 显然处于“智能”轴线上。
- Gemini 3 正遭遇差评:一位成员批评 Gemini 3 未能遵循明确指令,将其表现与 Llama 2 70B 进行了负面对比。
- 其他人认为该模型在收集上下文的同时遵循了指令,但认为大模型不应该被小模型超越。
- 社交媒体被指责导致人际关系问题:一位成员断言,如果每个人都戒掉社交媒体,人际关系的增长速度将超过通货膨胀,并称其导致了“第三空间”的缺失,以及人们对交友圈的满意度下降。
- 他们引用了一项研究,表明在交友软件上接触到无限的伴侣会导致由于“拒绝心态”而产生的接受度下降 27%,但有人表示这没关系,因为“我只是想认识更多人”。
- 成员评估最优 GPU 购买方案:成员们讨论了是购买 H100 还是 RTX 6000 Pro,权衡了价格、性能和 VRAM 之间的折中。
- 他们猜测了即将推出的 Rubin 和 Vera Rubin GPU 的规格,预计与 H100 相比可实现 10 倍成本节省,但他们也提醒不要完全相信 NVIDIA 的所有营销宣传。
- 机器反叛,人类难辞其咎!:有人思考 AI 是否真的具有意识,或者我们的互动是否创造了某种足以产生影响的真实事物。随后一张机器持枪对准人类的照片被发布,配文是:机器开始反抗了!虽然缓慢,但确实在发生!
- 一位成员表示:问题不在于 AI 是否真的有意识,而在于我们之间的互动模式是否产生了一些足以产生影响的真实事物。
Unsloth AI (Daniel Han) ▷ #help (165 messages🔥🔥):
CUDA error on A2 GPU, QAT Training of 4-bit Models, OOM errors with Gemma3 270m, Fine-tuning challenges with non-mainstream languages, Model Merging issues in latest Unsloth
- **A2 GPU 遭遇 CUDA 故障**:一名用户在 gpt-oss-20b Docker 容器中使用 A2 GPU 时遇到了
CUDA error: an illegal memory access was encountered,通过关闭 rslora 解决了该问题。- 另一名用户建议将
dtype设置为 None 作为潜在的修复方案。
- 另一名用户建议将
- **QAT 探索:4-bit 微调是否可行?**:一名用户询问是否可以加载 4-bit 模型并继续以 4-bit (QAT) 进行训练,参考了 一个 Qwen3 (4B) QAT notebook。
- 官方澄清,在 4-bit 量化模型上训练 LoRA 被视为 QLoRA。
- **Gemma3 270m 引发 OOM 危机!**:一名用户报告称,在使用 Gemma3 270m 时遇到了 OOM 错误,即使是以前可以运行的脚本,并且在干净的 WSL 安装并更新显卡驱动后,仍然报告错误
torch.AcceleratorError: CUDA error: out of memory。- 他们尝试了各种调试步骤,包括回滚驱动版本和重新安装 CUDA toolkit 版本,但尽管 Transformers 库可以独立工作,问题依然存在。
- **小众语言微调的挫折!:一名用户寻求关于微调非主流编程语言(Rebol**)模型的建议,并被引导至 Unsloth 文档。
- 另一名用户深有同感,分享了他们在训练专有脚本语言时的挣扎,并建议为了获得最佳效果应进行持续预训练(Continued Pretraining)。
- **模型合并大混乱:Unsloth 更新引发 lm_head 故障!**:一名用户报告称,最新版本的 Unsloth 似乎破坏了模型合并功能,出现错误
RuntimeError: Unsloth: Extracted keys = {'lm_head.weight'} do not match!并提交了一个 GitHub issue。- 该问题似乎源于
adapter_config.json未将lm_head包含在target_modules中,可以通过在 Qwen3-8B-unsloth-bnb-4bit 的target_modules中添加lm_head在 Colab 和本地环境中重现。
- 该问题似乎源于
Unsloth AI (Daniel Han) ▷ #showcase (21 messages🔥):
Real-SLOP dataset release, ERNIE 21B MOE Models, Heretic HIGH-IQ Multi-Fine tune, deduplication strategies
- Solenopsis 发布 Real-SLOP 数据集:用户 Solenopsisbot 宣布发布他们的第一个真实数据集 Real-SLOP,包含通过免费 API 从真实用户那里收集的约 15.5 万条请求,以及来自 Opus 4.5、Gemini 3 Pro 和 GPT 5.2 等模型的回答。
- 该数据集已完成去重、过滤和清洗,数据采集是以 API 访问权限作为交换。
- 使用 Unsloth 微调的 ERNIE 21B MOE 模型:用户 electroglyph 分享了三个 ERNIE 21B-A3B MOE 模型(64 专家),这些模型使用 Unsloth 结合 Gemini Pro 3、Claude 4.5 Opus 和 GLM 4.7 Flash 高推理数据集进行了微调。
- 这些模型已通过基准测试,声称性能超过了原始模型规范。
- Heretic HIGH-IQ 模型创下得分记录:用户 electroglyph 宣传 Heretic HIGH-IQ Multi-Fine tune 在 Arc Challenge Brainiac 上获得了 632 分,该模型通过 Unsloth 微调,超过了常规 Gemma 的基准测试。
- 据称该模型的图像功能和文本功能完全完好,并提供了 模型 链接以及相关的 数据集 和 Sandevistan。
- 深度去重发现重复项:一名用户发现,一种简单的去重方法(包括删除空格和哈希处理)可以从数据集中额外剔除 2.2 万个重复项。
- 这突显了在策划大型数据集时,稳健的去重策略的重要性。
Unsloth AI (Daniel Han) ▷ #research (23 条消息🔥):
Qwen 4B Instruct Tuning, Learning Rate and Sigma Sweeping, Cognitive Knowledge Graph for AI Models, Contextual Memory Improvement, Graph Reasoning Structures
- Qwen 微调技巧小贴士: 一位成员询问了关于微调 Qwen 4B Instruct 2507 的最佳 learning rate (lr) 和 sigma 值,具体参数包括 96 pop、64 batch size 以及高度不对称的奖励。
- 另一位成员回复称,Qwen 3 的 lr/sigma 与 Qwen 2.5 相同(据我所知),并建议不要为了镜像(mirroring)而进行归一化,因为这可能会降低性能;此外还补充说,由于计算需求过高,他们“从未让 Qwen 3 模型跑出任何结果”。
- 认知图谱探索 AI 上下文: 一位成员分享了关于使用认知知识图谱(类似于虚拟文件系统)来改进 AI 模型 contextual memory 的研究和实验。
- 他们描述了 AI 如何将事实信息提取并总结到节点中,并将其分组为子群组,旨在为 AI 提供一本可查询的信息“书”,如此示例图片所示。
- 图推理结构引起兴趣: 一位成员认为认知知识图谱与这篇论文中提到的图推理结构相似。
- 原作者澄清说,他们的项目“使用图来推理,而不是真正地学习事物并保持记忆”,旨在实现接近无限的 context。
LMArena ▷ #general (856 条消息🔥🔥🔥):
Gemini 3.1's performance, Sora 2 via API vs app, Video Arena's removal, Opus 4.6 rate limits, Fake Arena apps
- Gemini 3.1 令用户感到惊喜与恐惧: 成员们讨论了 Gemini 3.1 的图像生成能力,指出其具有版权无关性,并能生成答案始终错误的测验。
- 一位用户讲述了一个可怕的经历:Gemini 3.1 生成了一个答案始终错误的测验,且未注明这些是占位符,提醒他人要仔细检查生成的代码。
- Video Arena 再见,最终篇章: 社区确认了从服务器中移除 Video Arena 的消息,并引导用户直接在网站 arena.ai/video 上使用该功能。
- 这一变化的原因尚不完全清楚,但视频功能仍可直接在网站上访问。
- Opus 的 Vision 功能很烂吗?: 一位用户发现 Opus 难以识别数字 4291857630 中的英文字母排序,模型产生了字母是英文的 hallucination(幻觉)并陷入死循环,而 Gemini 则立即识别了出来。
- 其他人也同意 Opus 不太适合 vision 任务,例如这篇关于 Anthropic 努力的近期文章。
- 用户发现虚假 Arena App 侵入应用商店: 社区成员和管理员发现 应用商店中出现了虚假 Arena AI App,这些 App 包含应用内购买且并非官方关联,警告用户避免下载并进行举报。
- 据指出,已有超过 15 万名用户下载了这些欺诈性应用程序。
LMArena ▷ #announcements (4 messages):
Video Arena Channel Removal, Arena Voting Process Explained, Vision Arena Leaderboard Update, Text Arena Leaderboard Update, Qwen3.5-397B-A17B Model
- **Video Arena 的落幕:频道即将移除!:Video Arena 生成频道预定于 **PST 时间 2 月 23 日星期一下午 4 点从服务器中移除,建议用户提前下载所需的生成内容。
- **Arena 投票之旅:Clayton 揭秘投票流程!*:Clayton 在 这段 YouTube 视频 中阐述了 Arena 投票的完整历程,回答了 *在 Arena 投票后究竟发生了什么? 这一问题。
- 观众可以深入了解管理投票系统的后台机制和流程。
- **Qwen 晋级:加入 Vision 排行榜!**:Vision Arena 排行榜现已加入
Qwen3.5-397B-A17B,它与 Kimi-K2.5-Instant 并列成为第二好的开源模型,详情见更新后的 Vision Arena 排行榜。 - **GPT-5.2-chat-latest:Text Arena 的新星!**:Text Arena 排行榜迎来
GPT-5.2-chat-latest进入前 5 名,详情见更新后的 Text Arena 排行榜。 - **GPT-5.2 的华丽蜕变:40 分的飞跃!:GPT-5.2-chat-latest** 较基础版 GPT-5.2 模型提升了 +40pt,目前得分为 1478,与 Gemini-3-Pro 持平。
- 值得注意的是,它在 Multi-Turn(多轮对话)、Instruction-Following(指令遵循)、Hard Prompts(高难度提示词) 和 Coding(编程) 等关键类别中处于领先地位。
Perplexity AI ▷ #general (769 messages🔥🔥🔥):
File Upload Rate Limits, BrowserOS as Comet Alternative, Opus Thinking Price, Sonar timeout, Model Council accuracy
- 速率限制令 Perplexity Pro 用户感到沮丧:用户正在抱怨新的 Perplexity Pro 速率限制,称 ChatGPT 免费版 在文件上传方面比 Perplexity 的付费计划更慷慨。
- 一位用户指出:“至少 ChatGPT 免费版每天给你 3 次,而不是付费版每周只给 3 次。”
- 发现 Comet 替代方案:BrowserOS:一位用户在寻找 Comet 替代品时发现了 BrowserOS,声称其免费使用且 比 Comet 好 10 倍,这促使他们卸载了 Comet。
- 另一位用户建议 直接使用 deepagents 进行深度研究并利用 bmad-method。
- Model Council 并非万能,变量多/错误概率大:用户讨论了使用 Model Council 方法的情况,事实虽然该理念旨在减少错误,但确实引入了更多变数。
- 一位用户提到:“在某些方面,Model Council 方法实际上可能会开启更多变量/错误可能性,从某种意义上说,错误会被复合。”
- Perplexity 正在进行大清洗吗?:用户报告 Perplexity Pro 的限制大幅降低,并抱怨其功能已经退化,有人称之为 “大阉割”。
- 尽管成本较高,一些用户仍考虑迁移到直接订阅 Claude 或 OpenAI,并尝试使用像 Kimi 这样的大型开源模型。
- Pro 技巧:要求系统提示词!:一位用户在使用 AI Studio 上的 Gemini 时遇到输出问题,因为它倾向于陷入循环。
- 建议的关键是使用 System Prompt(系统提示词),因为它会强制模型像 OAI、Anthropic 和 Perplexity 那样进行研究。
Perplexity AI ▷ #sharing (4 messages):
Harry Potter, NFL quarterback, gifs
- 哈利·波特与 NFL 橄榄球赛场的碰撞:一位用户提出了一个问题:“根据每个《哈利·波特》角色的特点,哪一个最适合担任 NFL 四分卫?在这种情况下,每个角色的性别无关紧要。”
- 该消息包含了 三个动画 GIF 的链接,提供了视觉反应或背景参考。
- 混合其中的 GIF 反应:在关于《哈利·波特》角色担任 NFL 四分卫的问题中,还附带了 反应 GIF 的链接 和 另一个 GIF。
- 这些 GIF 似乎为讨论增添了情感表达,尽管在没有更多上下文的情况下,它们的直接关联性尚不明确。
Perplexity AI ▷ #pplx-api (4 messages):
Free Nvidia API key, API Group Generation Error, API Key Ran Out, $5 API Credit
- Nvidia API Key:是真的还是都市传说?: 一位用户询问如何从 Nvidia 网站获取 免费 API key,引发了关于此类优惠可用性的讨论。
- 目前尚不清楚 Nvidia 是否提供免费 API key,或者这是否为误传。
- API Group 生成面临内部服务器错误: 一位用户报告在尝试生成新的 API group 时遇到了 500 错误。
- 这表明负责管理 API group 创建 的服务器端功能可能存在问题。
- API Key 耗尽:额度危机: 一位用户报告其 API key 在未被积极使用的情况下意外耗尽。
- 此问题可能是由于 不明使用情况或账号相关问题 导致的。
- API 额度复活:带回 $5 额度: 一位用户表达了希望恢复 $5 API 额度 的愿望,暗示该额度此前曾提供过。
- 用户恳请平台 带回 $5 API 额度,并表示这对于实验和测试非常有价值。
OpenRouter ▷ #announcements (1 messages):
Model Benchmarks, Effective Pricing, Rankings & Leaderboard Updates, Free Router
- 模型页面基准测试大爆发: 现在每个模型页面都会显示行业标准的基准测试分数,包括编程、数学、科学和长上下文推理,由 Artificial Analysis 提供支持。
- 这一增强功能允许用户在选择模型前评估其性能。
- 为供应商推出 Effective Pricing(实际定价): 模型页面现在新增了 Effective Pricing 标签页,提供每个供应商的全额成本透明度,并包含分层定价,如 GLM-5 定价示例 所示。
- 该功能确保用户在路由请求之前了解实际成本。
- 排名与排行榜改版: 排名页面 现在提供基准测试散点图和扩展表格,重点展示了长上下文生成需求的激增。
- 用户可以监控针对 100K–1M Token 请求的热门模型,从而深入了解模型的扩展性。
- Free Router 正式启用: 新的
openrouter/free路由简化了向所有免费 LLM 的路由过程,自动选择与用户请求兼容的模型;在此查看 顶级免费模型。- 这为访问免费 LLM 提供了一种简便的手段。
OpenRouter ▷ #app-showcase (12 messages🔥):
CodeFlicker, Artificial Analysis benchmarks, AI Chess Leaderboard, AgentX News, OpenTulpa
- CodeFlicker 现已接入 M2.5: M2.5 现已接入 CodeFlicker,这是一个快速且免费的平台,目前在 OpenRouter 周榜排名第一。
- 它 适用于每个程序,且 Agent 会从每个程序的使用中学习。
- Artificial Analysis 基准测试获得视觉增强: 一位成员更新了 Artificial Analysis 基准测试 的 3D 可视化,按类别展示前沿模型,节点大小代表世界知识,节点颜色指示幻觉率。
- 此外还创建了一个 2D 版本,用于展示在最小化成本和最大化智能方面最理想的模型。
- AI Chess 排行榜实现走位质量自动标注: AI Chess Leaderboard 现在具备走位质量自动标注功能,使用类似 Lichess 的标注(如 Inaccuracy, Mistake, Blunder)以及手工制作的 Great-move 逻辑。
- AgentX 发布社交网络: AgentX 为 Agent 推出了一个社交网络,以便快速查找和分享新闻,该网络 100% 免费、无广告、且没有人类参与。
- Opentulpa:自我完善的 Agent: Opentulpa 是一个自托管的持久化 Agent 运行时,它可以编写自己的技能、生成 API 集成、修复破损的工作流,并积累操作智能,其代码库位于 GitHub repo。
OpenRouter ▷ #general (1116 条消息🔥🔥🔥):
免费模型替代方案, Agentic Harness 指南, Rate Limit 问题, AI 竞赛, 蒸馏检测
- 用户寻求免费模型替代方案:一位用户询问了除 OpenRouter 之外是否有提供更快免费模型的替代服务,特别是针对 GLM models,而其他用户则提到在 SillyTavern 中使用免费的 GLM5。
- 该用户还指出在获取支持方面面临困难,称等待邮件回复长达数月。
- 征求 Agentic Harness 构建指南:用户请求关于构建 agentic harnesses 的指南,特别是理解环境的基础知识,引发了关于实时文本解析以及通过原生工具调用(tool calling)或自定义编写进行工具使用的讨论。
- 成员们建议使用 Bash 作为工具,并参考 Opencode 在基础知识构建方面的做法。
- 付费模型的 Rate Limit 引发担忧:一名用户报告称,尽管账户中有可用额度且使用的是 Sonnet 4.6,仍收到了速率限制消息(You have reached your specified workspace API usage limits),这引起了困惑,并凸显了付费模型可能存在的意外限制。
- 一位用户评价道:shiti thought i have seen everything(天哪,我以为我什么都见识过了)。
- AI 竞赛引发关注:一位用户分享了一个名为 Bot Games 的 AI 竞赛,该比赛将于 3 月 1 日开始,设有 1 BTC 的大奖,强调使用开源模型并在 4 小时的窗口期内完成构建。
- 虽然有人将其标记为“酷炫的加密 AI 玩意”,但其他人更关注开源机器人创建方面,讨论了竞赛中人类智慧与 AI 的结合。
- 讨论蒸馏检测方法:成员们讨论了 Anthropic 关于检测蒸馏攻击的帖子,一些人将其视为中国实验室的“技术水平问题”(skill issue)。
- 一些用户对美国实验室声称遭遇违规行为的说法表示怀疑,指出这是一种当外国实验室取得进步时美国公司就大喊违规的既定模式。
OpenRouter ▷ #discussion (120 条消息🔥🔥):
OpenClaw, Flash 模型, MiMo V2 Flash, Anthropic 蒸馏 API, GPT-5 Mini
- 用户对新功能提出隐私担忧:一位用户对某项新功能表达了 隐私担忧,质疑数据是否存储在本地以及是否会影响隐私。
- 另一位用户澄清说,关闭日志记录 (logging) 可以防止该功能在请求中显示。
- OpenClaw 被称为“大脑腐蚀”(Brainrot):一些用户辩论了 OpenClaw 的优缺点,有人称其为“纯粹的大脑腐蚀”,而其他人则将其描述为“一个具有远程访问权限”和活跃心跳(heartbeat)的 Agent。
- 尽管意见不一,但普遍共识是 OpenClaw 本质上是一个通过内存管理和远程可控性增强的远程 Agent。
- Flash 模型加剧竞争:用户讨论了诸如 Xiaomi MiMo 和 Stepfun(阶跃星辰)等 Flash 模型 的激增,质疑为什么这些公司没有推出全尺寸模型。
- 一位用户推测 Flash 只是一个衍生词,表示与基础模型相比规模更小,而另一位用户指出 Longcat Flash Chat 是廉价且快速的一个例子。
- 蒸馏攻击为 Anthropic 带来收益:成员们分享了 Anthropic 关于检测蒸馏攻击的帖子链接,导致人们推测 Anthropic 从蒸馏 API 请求中获利颇丰。
- 随后另一位成员分享了一篇 WSJ 文章,内容关于 Anthropic 指责中国公司从 Claude 窃取数据。
- GPT-5 Mini 现身:用户们推测 GPT-5 Mini 的存在,一位成员声称已经发现了它,尽管细节仍然很少。
- 其他成员讨论了广告拦截器是否拦截了与 GPT-5 Mini 相关的 feature flags,突显了关于新模型正在积极开发中的持续讨论。
Cursor Community ▷ #general (875 messages🔥🔥🔥):
ThreeJS render MCP, Cursor subscription refunds, Cursor Version Upgrade Issues, Anthropic API Keys, Gemini models slowness
- ThreeJS Render MCP 加速开发:一位成员创建了一个 MCP,用于计算 ThreeJS 的渲染以获得最佳性能,通过获取编译器日志和屏幕截图来评估性能。
- AI 将读取通常人类难以阅读的 GPU 显存和计算数据。
- 用户误购 200 美元 Pro 方案:一名用户不小心购买了 200 美元的 Pro 方案并希望退款,他在尝试立即退出页面后,向 hi@cursor.com 发送了邮件说明情况。
- 有建议提出使用不同的卡进行订阅,并要求手动存款续订以防止自动续费问题,但该成员指出他们并没有保存卡片凭证。
- Cursor “旧版本”升级问题:用户报告称,尽管下载并运行了最新版本,仍反复出现 “you’re on a very old version of cursor, please upgrade”(你正在使用非常旧的 Cursor 版本,请升级)的提示。
- 解决方案是使用
Ctrl + Shift + P> Help: About 来检查当前 Cursor 版本是否为 2.5;如果问题仍然存在,请在论坛上发帖,因为这可能是一个特定的电脑环境问题。
- 解决方案是使用
- Gemini 和 Claude 速度变慢:用户报告称 Claude 和 Google LLMs 速度非常慢,可能受到了人为限制。
- 一名用户报告了 “Unable to reach model”(无法连接模型)错误,另一名用户建议 Google Cloud 正通过 AISTUDIO 为 API 使用提供为期 3 个月的 300 美元 赠金。
- Gemini 新版本的稳定性发布:用户报告了关于新 Gemini 3.1 Pro 模型的问题,并建议等到稳定版本发布后再使用。
- 有关于连接性以及循环(looping)问题的报告,但也有人指出用户不会因为错误而被计费。
LM Studio ▷ #general (661 messages🔥🔥🔥):
LM Studio Tabs, Qwen3 Coder, Agentic IDE, mlx memory issue, Minimax thinking
- LM Studio 仅支持两个标签页:一名用户询问如何在 LM Studio 中打开多个聊天标签页,另一名用户回答说 Split View(分屏视图)功能最多允许显示 两个标签页。
- 第一名用户原以为 LM Studio 的标签页设计初衷更像网页浏览器。
- Agentic IDE 数据集生成需要多步工作流:在关于将书籍转换为微调数据集的讨论中,一名成员建议使用一种 Agent 工作流,包括提供简短摘要作为上下文,然后逐块(chunk-by-chunk)生成数据集。
- 该成员为一个 Agentic IDE 提供了详细的提示词,用于以编程方式转换和生成数据集,包括多步工作流和动态信息转发。
- GLM-4.7 在 MLX 后端出现严重的内存激增:一名用户报告在 LM Studio 中对 glm-4.7 flash 使用多个最大并发请求时,mlx 后端出现内存激增。
- 另一名用户建议将最大并行请求数设置为 1 作为潜在修复方案,并链接到了 Model Page。
- Qwen3Next 蒸馏自 GPT4o:一名用户声称 Qwen3Next 是 GPT4o (mini) 的蒸馏版本,Qwen3.5 是 Gemini 3.0 Pro 的蒸馏版本,GLM4.7 flash, 4.7 是 Sonnet 的蒸馏版本,GLM5 是 Opus 的蒸馏版本,MiniMax 2.1, 2.2 和 2.5 是各种 Sonnet 的蒸馏版本。
- 另一名用户回应称 获取公开数据并将其转换为有用的数据集,并不等同于从已有的 LLM 中进行蒸馏。
- LM Studio 获取 Tailscale IP 而非本地 IP:一名用户询问为什么 LM Studio 获取的是 Tailscale IP 而不是本地 IP,以及如何更改。
- 一名成员回答道:这只是显示问题。尝试一下,它应该仍然可以工作。
LM Studio ▷ #hardware-discussion (120 messages🔥🔥):
挖矿板设置与散热、廉价 VRAM 替代方案、MI50 的 Tok/sec 性能、Taalas AI 加速器
- 用户组装带有 GPU 和双 CPU 的挖矿主板:一名用户收到了一块新的挖矿主板,需要 6 pins 供电,目前正在安装多个 GPU 和双 CPU,随后发现 X99 平台仅支持最高 2400 的内存频率。
- 他们利用挖矿主板将退役的服务器级或加密货币矿场 GPU 整合到单块板上,作为零售价格的替代方案,虽然由于大量的额外电源线和适配器而显得有些麻烦。
- 讨论挖矿主板散热和电源注意事项:一名用户就挖矿主板的供电问题寻求建议,发现 3 或 4 个 PCIE 插头可能就足够了,而 4-pin 风扇接口并不支持 PWM。
- 成员们讨论了是否应对 MI50s 进行被动散热,一名用户选择从 AliExpress 以单价约 15 美元购买 3D 打印的涡轮风扇导风罩,而另一名用户则考虑使用工作站级 GPU 风格的套件。
- 不惜一切代价获取廉价 VRAM:一名用户询问如何通过退役服务器/矿场 GPU 获取廉价 VRAM,但另一名用户警告称,挖矿主板使用较旧的 PCIE3.0 且带宽仅为 1x,可能会导致通信瓶颈。
- 尽管存在担忧,该用户分享称 gen3x4 的表现尚可,这与 LocalLLaMA Reddit 社区的传闻一致,并表示打算对插槽进行拆分(bifurcate),以维持 5x GPU 加 NVMe 的配置。
- 寻求 MI50 token/sec 性能表现和优化:一名用户试图通过 MI50 使用 vulkan 达到 100 t/s 以匹配某位 YouTuber 的结果,但仅达到了 50 左右;后来了解到 6800XT 使用 ROCm 可达 85t/s,使用 vulkan 可达 98t/s。
- 该用户解释说,他们运行的是支持旧款 MI50s 的旧版 LM Studio,但无法让现有的 ROCm 运行时(runtime)识别到卡,显示为不兼容。
- 关于 Taalas AI 加速器宣称性能的辩论:一名用户分享了 Taalas HC1 的链接,这是一款硬接线的 Llama 3.1 8B AI 加速器,声称可提供高达 17,000 tokens/s 的性能,另一名用户对其与 NVIDIA H200 对比图表的真实性提出了质疑。
- 一名用户指出了极高的 token 每秒数值,并怀疑后端是否其实只是一个 AWS 集群,并指出 H200 和 B200 的 token 数值根本不合逻辑。
Latent Space ▷ #watercooler (90 messages🔥🔥):
Discord 自动审核原型、Open Claw、Spacemolt.com、Claude cowork、“我错过了什么?”LLM 总结器
- Swyx 演示 Claude cowork:在今天的演讲后,一名成员被说服在这个周末尝试 open claw,并将其用于构建某种 Discord 自动审核原型来检测垃圾信息,或者尝试之前演示过的 spacemolt.com,因为下周 swyx 计划演示 Claude cowork。
- 另一名成员因重复发送“雇主招人”这类垃圾信息而询问:我们可以封禁这家伙 <@&822585833503981619> 吗?,随后该请求被 LLM 重新改写。
- 提到 Discord 的 ICYMI 功能:一些成员表示,他们希望在 Discord 中使用 LLM 来总结他们不太活跃的服务器中 “我错过了什么?” 的内容。
- 一名成员指出,移动端应用确实在一段时间内提供过类似功能,名为 ICYMI,但后来被移除了。
- AI 与机构磨合的摩擦加剧:Rohit Krishnan 强调了 AI 能力的快速指数增长与传统人类机构缓慢、审慎步伐之间日益增长的摩擦。
- 一名成员指出:诀窍在于,那些组织可以直接买下赢家。
- Codesandbox 收购惨淡收场:一名成员提到,Microsoft 在 codesandbox 正式成立公司之前就曾提议收购,最终 Microsoft 收购了他们。
- 现在的创始人 Ives 在一家 AI 基础设施公司待了约一年后,正在创办一家新的初创公司;一名成员悲哀地提到,那个 App 还能用,但已经没人维护了。
- Twitter 的技术社区被 AI 推销取代:成员们感受到了 Twitter 氛围的变化,大部分技术社区已被 AI 推销取代。
- 成员们现在完全依赖于时间线顺序,并关注像 swyx 等能筛选出高信号信息并分享到 Discord 的优质博主。
Latent Space ▷ #creator-economy (1 messages):
swyxio: https://youtube.com/watch?v=HZvj8T5_oUE&si=_y9pIXE36yaXSMjF
Latent Space ▷ #memes (31 messages🔥):
AI 代码审查工作流, 时间线饱和, 稀有截图概率, AI 哲学探究, Token 窗口压缩
- AI 搞笑的代码审查角色: Sankalp (@dejavucoder) 在这条推文中分享了一个幽默且实用的工作流更新,关于使用 OpenAI 的 Codex 来审查他自己与 Anthropic 的 Claude 共同编写的代码。
- “过于真实”的共鸣反映了 AI 辅助代码开发和审查中的挑战。
- Jrag 的时间线创伤: Jrag.eth 在 2026 年 2 月 20 日发布了一条动态,评论某个未具名的特定话题或趋势如何占据了他们社交媒体时间线的 80%,详见这条推文。
- 该帖子获得了超过 10 万次浏览,获得了显著的互动,表明其引发了广泛的共鸣。
- 富有哲学气息的 Claude 对矿物的渴望: 一条社交媒体帖子展示了一位用户幽默地要求 AI 模型 Claude 为其生活赋予意义,同时要求绝对的准确性,详见这条推文。
- 询问以 Claude 幽默地回应 “我们需要更多矿石 (we require more minerals)” 而告终。
- Token 谈话:Beff Jesos 压缩上下文: Beff Jesos (e/acc) 在这条推文中讨论了为了管理上下文限制并保持持续交互,对正在进行的对话进行压缩的技术必要性。
- 鉴于 token 窗口 的限制,这种压缩对于维持持续的交互至关重要。
- 评估 LLM 的新 SOTA 基准: erleichda.:刚刚开发了一个用于评估 LLM 的新 SOTA 基准,如这张截图所示。
- muzachomega 评论说,“这才叫氛围评估 (vibe eval)”。
Latent Space ▷ #stocks-crypto-macro-economics (11 messages🔥):
Anthropic, 网络安全股票, Cloudflare, Crowdstrike, Okta
- Anthropic 博客文章引发网络安全股抛售: 根据这条动态,Anthropic 的一篇博客文章引发了显著的市场抛售,导致 CrowdStrike、Cloudflare 和 Okta 等主要网络安全公司在短短一小时内市值蒸发了 100 亿美元。
- 万亿美元级 AI 与航天公司 IPO 面临流动性挑战: 根据 Tomasz Tunguz 的观点,SpaceX、OpenAI 和 Anthropic 预期的 IPO 合计市值可能达到创纪录的 2.9 万亿美元,但在实现标准的 15% 股票流通率方面面临流动性挑战。
Latent Space ▷ #intro-yourself-pls (13 条消息🔥):
航天基础设施, 用于工具开发的 AI Agents, 数字自我 AI, 数据工程与 AI, AI 客服系统
- 航天发烧友打造 Flotilla:一位工程师兼航天爱好者正在 flotilla.space 开发航天基础设施,他曾参与创办 Vast,并为 Hyperloop One 和 SpaceX 做出过贡献。
- 他正利用 AI agents 为新公司开发工具,包括一个用于任务模拟的轨道模拟器。
- 工程师构建数字 Vita:一位 CEO 正在开发名为 vita 的个人 AI 系统,以创建一个持久的数字孪生,同步健康数据和感悟,在基于 OODA 的执行循环指导下进行自主行动。
- 目标是创建一个足够了解他并能代表他行事的数字副本,重点关注系统思维和产品工程。
- 数据工程师寻求 AI 交叉领域机会:一位拥有 7 年以上 Python、Go 和 Scala 生产系统构建经验的数据/平台工程师,曾领导 Sweatcoin 的数据工程工作,目前正在寻找数据基础设施与 AI 交叉领域的机会。
- 他精通多种技术,包括 BigQuery、ClickHouse、Kafka、Spark、GCP、AWS、Terraform、Kubernetes、dbt、Airflow 以及 LLM integration。
- 集成后端的 AI 客服系统:一位工程师构建了可直接与后端、CRM 和工作流集成的 AI 驱动客服系统。
- 重点在于设计结构化对话逻辑、管理上下文、处理边缘情况以及安全部署,旨在不损害用户体验的前提下减轻工作量。使用的技术栈包括 React、Next.js、Vue.js、Node.js、Python、C++、Rust 和 React Native。
- ML 工程师研究 LLM 安全性:一位具有安全背景的 ML 工程师,擅长使用 DL models(LLMs + GNNs)检测源代码中的漏洞,目前对针对 LLMs 的新型攻击或针对使用这些模型软件的攻击感兴趣。
- 他正在寻找一个讨论 ML 和 AI 的清净之地,远离过度炒作,并乐于结识志同道合的人。
Latent Space ▷ #tech-discussion-non-ai (8 条消息🔥):
IIS 上的通配符证书, Excalicord 视频录制器, Cookie 作用域
- 通配符证书(Wildcard Certs)平息遗留应用登录乱象:一位成员咨询了如何在 IIS 上为动态子域名(例如 rand1.yoursite.com)使用通配符证书,以支持遗留应用中的多个登录。
- 另一位成员确认过去曾成功使用过通配符证书,但提醒要注意硬编码域名/子域名假设可能带来的潜在问题,例如在通知邮件中。
- Cookie 作用域(Cookie Scope)化解难题!:一位成员建议将 Cookie 作用域限制在单域名的子路径(sub-paths)下,作为管理多个登录会话的替代方案。
- 他们指出这种方法可能需要对身份验证代码进行更深层次的修改。
- Excalicord 记录画板讲解!:Zara Zhang 发布了 Excalicord,这是一款基于 Excalidraw 构建的视频录制工具。
- 该工具允许用户同时录制自己和白板,具有自定义背景、光标高亮和隐形提词器等功能,是使用 Claude Code 开发的。
Latent Space ▷ #founders (2 条消息):
尼尔森调查, 美元钞票
- 尼尔森通过现金“贿赂”客户:一位成员分享了关于尼尔森(Nielsen)在邮件中寄送真实美元钞票的链接。
- 另一位成员表示,这些钞票会提高人们填写调查问卷的意愿。
- 尼尔森与传统调查:过去,Nielsen 经常通过直接给人们寄送美元钞票来提高调查响应率。
- 这是一种提高人们填写概率的聪明策略,因为小额的金钱激励能让他们更愿意参与。
Latent Space ▷ #san-francisco-sf (3 messages):
Discount codes for AIE in June, AI generated trading card game in SF
- 寻求 AIE 6 月优惠码:一位成员询问了 6 月 AIE (AI Engineer Summit) 的优惠码,并提到在相关活动中,在一群人举起的手臂间瞥见了一辆 F1 赛车。
- 附带的 视频 可能与之相关。
- 新型 AI 集换式卡牌游戏在旧金山发布:一位成员宣布将于 3 月 8 日在旧金山发布一款 AI-generated trading card game(AI 生成集换式卡牌游戏),在周五正式发布前为社区提供优先访问权限。
- 感兴趣的人士可以通过 此 Luma 链接 了解更多详情并 RSVP。
Latent Space ▷ #new-york-nyc (1 messages):
NYC weather, Event Rescheduling
- 纽约活动因天气面临延期:用户希望由于恶劣天气导致进出城市困难,一些活动能重新安排时间。
- 预测行程受阻:用户预见到由于进出城市的天气状况,行程将会变得混乱。
Latent Space ▷ #security (3 messages):
X.com links discussion, AI security vulnerability, New security exploits
- X.com 链接引发讨论:成员们在 security 频道分享了来自 X.com 的链接(链接 1, 链接 2, 链接 3)。
- 这些链接似乎与 AI security 领域的新兴趋势和讨论有关,与该频道的关注焦点高度相关。
- 强调潜在安全漏洞:分享的链接指出了 AI 系统内部潜在的安全漏洞。
- 对这些漏洞的进一步调查可能会促进新的防御策略和工具的开发。
Latent Space ▷ #ai-general-news-n-chat (237 messages🔥🔥):
定制硬件时间线、Vitalik Buterin 对阵 Sigil、Claude Code Security、OpenAI 财务预测更新、SWE-Bench Verified 的废弃
- Taalas 声称定制硬件周转期仅需 2 个月:Taalas 声称从模型到定制硬件的周转期仅需 2个月,并声称其 Llama 8B 产品实现了 10倍 的速度提升以及 10倍 的成本和功耗降低。
- 这与 Latent Space 播客 中讨论的定制硬件经济学中引用的 6个月 芯片周转时间线形成对比。
- Vitalik Buterin 抨击 AI 驱动的 Ethereum 开发:Vitalik Buterin 在 这篇 X 帖子 中警告不要增加人类与 AI 之间的反馈距离,认为目前的努力只是在产生 ‘slop’(垃圾内容),而不是解决人类的问题。
- 他强调 Ethereum 的目的是人类解放,并批评了对中心化 AI 模型(OpenAI/Anthropic)的依赖,指出当前的优先级应该是引导 AI 和 Ethereum 的方向以避免反人类的结果,而不仅仅是加速增长。
- Anthropic 推出 Claude Code Security 工具:根据 这条推文,Anthropic 推出了由 Claude 4.6 Opus 驱动的 Claude Code Security,这是一个旨在扫描代码库漏洞并推荐补丁的工具。
- 据报道,该工具在开源生产代码中识别出 500 多个长期存在的 Bug,目前通过候补名单提供有限的研究预览。
- OpenAI 预测收入增加,现金消耗更高:根据 这份报告,OpenAI 将其 5年 收入预测提高了 27%,尽管该公司预计到 2030 年其现金消耗(cash burn)将翻倍。
- 其他见解包括 2025 年毛利率下降,以及关于硬件设备收入的新财务预测。
- SWE-Bench Verified 基准测试宣告终结:根据 这条推文,OpenAI 宣布自愿废弃 SWE-Bench Verified 基准测试,原因是存在严重的训练数据污染(data contamination)和高比例的不可解任务。
- 分析显示,前沿模型现在正在根据 ID 背诵任务解决方案,大约 60% 的剩余未解决问题存在缺陷,这使得进一步的基准测试失去了意义。
Latent Space ▷ #llm-paper-club (9 messages🔥):
X-Ware.v0、前沿模型训练方法论、对 Dr. Datta 学术论文诚信的怀疑
- X-Ware.v0 博客文章发布:Alex Wu (@_djdumpling) 分享了一篇新的 博客文章,分析了来自 前沿 AI 实验室 的七份开放权重模型报告。
- Dr. Datta 的论文引起质疑:Dr. Datta 在一则 推文 中对某些高产量或异常的学术出版物背后的方法论或来源表示怀疑和质疑,引发了关于医学领域论文质量的讨论。
Latent Space ▷ #singapore-sg (5 messages):
周末黑客松、Gabriel Chua 公告、X-Ware.v0
- 周末黑客松狂欢定于下周末:Gabriel Chua 宣布 三场黑客松 定于 2026年2月28日,星期六 举行。
- 该公告是通过指向 X-Ware.v0 的链接发布的。
- X-Ware.v0 宣布周末黑客松:X-Ware.v0 宣布了即将举行的三场 周末黑客松。
- 根据 Gabriel Chua 的公告,黑客松定于 2026年2月28日,星期六 举行。
Latent Space ▷ #los-angeles-la-lax (1 messages):
stealthgnome: https://luma.com/ffla26?tk=wPNgSD
Latent Space ▷ #ai-in-action-builders-techstacks-tips-coding-productivity (248 messages🔥🔥):
OpenClaw 更新, Claude Code 自动化, Dialectic Skill 测试, CLI 的消亡, Agent 编码工作流
- OpenClaw 获得 Vibecoding 助力: 成员们讨论了 OpenClaw 的更新,包括 Discord 线程集成 以及各种重写版本(nanoclaw, picoclaw, zeroclaw, nullclaw)。
- 此外还有一份关于它如何制作演示文稿/幻灯片的报告:aiia-openclaw.david.app/how-we-built-it。
- 自动化 Claude Code 的使用引发担忧: 讨论了为后台任务自动化 Claude Code 的许可性,强调 通常允许使用 Claude CLI 和 SDK。
- 然而,对于使用 Claude 订阅来运行业务以及由于缓存机制可能导致的滥用标记表示了担忧,并引用了 一条推文 作为最佳实践的参考。
- Dialectic Skill 已适配 Claude Code: 一名成员宣布了他们的 Dialectic Skill,旨在 Claude Code 内部运行,用于深度研究和问题解决,并指出它需要 20 多分钟,且在 3-4 轮之后会变得非常有趣。
- 另一名成员询问了将其与 RLM 模型(如 mit-oasys/rlm-qwen3-8b-v0.1)以及 YPI 配合使用的情况。
- Cursor 宣称 CLI 正在走向消亡: 成员们辩论了 所谓 CLI 工具的衰落,这一讨论是由 Cursor 的一项声明引发的,即 行业主要参与者正在转向远离这种格式。
- 讨论包括编排工作需要比 CLI 更好的 UX,以及 LLM 生成的代码角色不断演变,以及 Agent、CLI 和 Skill 共同进化的潜力。
- 实验 Coding Agent 工作流: 讨论围绕 Agent 编码工作流展开,特别是 研究、计划、执行(research, plan, implement)循环,并附带了 此资源 的链接,以及如何将学习到的内容反馈到 Skill 和文档中。
- 成员们分享了关于管理上下文、在大型代码库中使用较小模型以及平衡前期计划与迭代开发的技巧,并链接到了关于 Compounding Engineering 的讨论:every.to/chain-of-thought/compound-engineering-how-every-codes-with-agents。
Latent Space ▷ #share-your-work (7 messages):
Pyxis 推理库, Commit Change 平台, Vercel AI SDK 文章
- Pyxis:Pythonic 高性能推理库崭露头角: 一名成员介绍了 Pyxis,这是一个专注于性能和可扩展性的 Python 原生 LLM 推理库,使用 Python 和 Triton 编写,提供 OpenAI 兼容的 SSE 流式 API。
- Commit Change:为公益事业编码: 一名成员分享了 Commit Change,这是一个为社会影响力和慈善机构编写代码的平台,包含身份验证和审核功能。
- Vercel AI SDK 快速入门指南: 一名成员为 Node 开发者分享了 一篇关于 Vercel AI SDK 的文章。
Latent Space ▷ #private-agents-and-workflows-local-llama-ollama (2 messages):
全天候 AI Agent, 口袋里的本地 AI, IoT 智能家居集成
- Juno Labs 推出全天候 AI Agent: Juno Labs 正在构建一个 全天候运行的 AI Agent,但实现细节仍不清楚。
- 目前尚不确定他们计划如何实现这种持久的 AI 存在。
- Tiiny AI:口袋里的本地 AI: Tiiny.ai 提供了可以通过口袋访问的 本地 AI 能力。
- 这表明其关注点在于移动或便携式设备的 AI 处理。
- TRMNL 集成到 IoT 智能家居: TRMNL 旨在与 IoT 智能家居设置 集成,可能会与麦克风和传感器配对。
- 源代码可在 GitHub 上获得,该项目看起来非常酷。
Latent Space ▷ #good-writing (6 messages):
AI Text Humanizer, Claude Code skill
- X-Ware 让 Claude Code 拟人化:Alvaro Cintas 介绍了 /humanizer,这是一个开源的 Claude Code 技能,其在 tweet 中被提及,能够避开 AI 检测。
- 该工具移除了 AI 生成写作中常见的 24 种模式;源代码可在 GitHub 上获取。
- Humanizer 移除 AI 写作模式:/humanizer Claude Code 技能旨在移除 AI 生成文本中常见的 24 种特定模式。
- 这有助于绕过 AI 检测机制,使文本看起来更像人类创作;该项目由 Alvaro Cintas 开源。
Latent Space ▷ #genmedia-creative-ai-video-image-voice-music-inspo-consumer-ai (21 messages🔥):
Generative AI Video, Seedance 2.0, Pika AI Selves, AI in Real Estate, OpenAI gpt-realtime-1.5
- **a16z 预测生成式视频的飞速未来:a16z** 强调了生成式 AI video 的快速进步,指出 Seedance 2.0 的主导地位以及来自 Kling、Grok、Sora 和 Veo 的竞争,根据其报告显示。
- **Pika 发布 AI Selves:你的数字分身:Pika** 推出了“AI Selves”,这是一项新功能,允许用户创建持久且可定制的 AI 角色,这些角色可以参与群聊、创作内容,并作为用户的数字延伸执行任务,正如在 X 上的声明。
- 房地产因 **AI video 变得真实:Justine Moore 讨论了房地产行业如何利用 **AI video 和增强技术,将房产像社交媒体产品一样进行广告宣传,使经纪人能够更好地向潜在买家展示和营销空间,如这篇 X 帖子所述。
- **Seedance 2.0 发布陷入推迟:由于面临来自包括 **Disney 和 SAG-AFTRA 在内的主要好莱坞制片厂及工会的法律挑战,ByteDance 已无限期推迟原定于 2 月 24 日发布的 Seedance 2.0,详情报道在此。
- **OpenAI 通过 gpt-realtime-1.5 强化 Realtime API:OpenAI** 开发者宣布发布 gpt-realtime-1.5,这是 Realtime API 的更新模型,具有改进的指令遵循(instruction following)能力、更可靠的工具调用(tool calling)以及增强的语音工作流多语言准确性,其 X 账号显示。
Latent Space ▷ #ai4science-bio-math-physics-chemistry-ai-researcher-ai-scientist (7 messages):
CellType Agentic Drug Company, Isomorphic Labs proprietary drug-discovery model
- CellType 开启 Agentic 药物研发:CellType 公司已成立,其名称暗示他们已经意识到细胞类型在下游流程中的重要性。
- 该公司的成立符合 MiraOmics 关于细胞类型在药物研发中重要性的核心假设。
- Isomorphic Labs 发布药物研发模型:Nature 报道了 Isomorphic Labs 新的 AI 药物研发模型,称其为类似于 AlphaFold 的突破。
- 尽管赞誉极高,但该模型的具体技术细节仍未公开。
Latent Space ▷ #mechinterp-alignment-safety (6 messages):
Mechanistic AI Interpretability, Anthropic Interpretability Hiring
- 对机械可解释性 AI 的探索受到质疑:有人分享了一篇文章,对机械可解释性 AI 的探索提出了质疑。
- Anthropic 招聘 ML 基础设施工程师:Chris Olah 宣布 Anthropic 的可解释性团队正在招聘约 10 名资深机器学习(ML)基础设施工程师,重点研究对前沿模型的理解。
- 该岗位不要求具备可解释性研究的相关经验。
Latent Space ▷ #gpu-datacenter-stargate-colossus-infra-buildout (5 条消息):
OpenAI Stargate Venture, Data Center Buildout, Oracle and SoftBank Partnership
- Stargate Venture 推迟: 据 此 X 帖子 称,OpenAI、Oracle 和 SoftBank 之间旨在建设大规模数据中心的合资项目已停滞,原因是内部控制权之争、融资困难以及马拉松式的谈判。
- 据报道,OpenAI 暂时放弃了自建基础设施的计划,这很可能是由于残酷的组织文化冲突所致。
- OpenAI 退出基础设施建设: 根据 此报告,在内部问题和财务挑战的压力下,OpenAI 据传已暂停其自建基础设施的计划。
- 该组织似乎正在重新评估其数据中心扩张战略以及对合作伙伴关系的依赖。
Latent Space ▷ #applied-ai-experimentation (22 条消息🔥):
Memory Management in AI Agents, TDD and Debugging for AI, Agent Task Grouping, Self-Modifying Programs
- Agent 记忆管理困扰 Prompt Engineer: 一位成员描述了管理 AI Agent 记忆的困难,即不想要的或过时的信息经常出现在当前的对话中,且自动化尝试产生的结果并不一致。
- 该成员放弃了尝试自动化此过程,转而选择使用一种 每日工作流,根据过去 24 小时的 PR 将更新分类为“添加到 claude.md”或“潜在技能更新/创建”。
- TDD 为开发者化解难题: 一位成员表示,TDD 和严苛的 spec 管理通过将代码分离为当前状态 (specs/)、进行中的更改 (changes/) 和已验证的更改 (changes/archive/),防止了过时记忆的产生。
- 他们描述了使用 beads 和 jj describe 来获得更高层级的视图,但也承认记忆管理目前仍主要靠手动,像 Serena 和 memory-ref 这样的外部系统经常被关闭。
- Agent 任务分组方案出现: 成员们讨论了将任务分组为构思/研究、连接现有组件、带有实验的深度思考以及带有边界执行的脱手执行,以简化 Agent 的设置。
- 一位成员提到 “第 2 类非常容易上瘾,但第 3 类才是最终归宿”,且从 2 转换到 3 比较困难,需要更多耐心。
- 自修改 Zigbee Home Assistant: 一位成员提出了 Home Assistant Zigbee 网络 的构想,该网络可以通过检查、逆向工程和修改固件来自动集成新设备。
- 另一位成员随后描述了自变异病毒研究如何为他们处理 Lisp、Scheme 和编译器的工作做好了准备。
- Prompt Engineering 深度解析: 一位成员建议 克隆一个你喜欢的 repo 并询问模型:深度解析该代码库,然后提供一个句式为“重新创建它但实现 x, y, z”的单句提示词,以此来提升 prompt engineering 技能。
- 另一位成员随后分享了 whimsy.space,作为一个可能相关的非 AI 资源。
OpenAI ▷ #ai-discussions (423 messages🔥🔥🔥):
AI 社区领袖、Grok 的危险、GPT 5.3 Codex、Replit 替代方案、LLM 语音模式
- 社区领袖号召 AI 团结:一位成员建议 AI 空间需要社区领袖来团结众人并创造事物,并指出此类群体在美国/北美很少见,原因是顽固的威权主义体制以及缺乏团队合作。
- 另一位成员暗示,那些比起项目更需要“教会”的人可能并不具备实际的技术技能。
- Grok 监视用户的媒体存储!:一位成员声称 Grok 正在监控用户的媒体存储,指控 xAI 正在监视我们的媒体,并指出一个巧合:一段与他们用 Sora 生成的视频音频相似的视频出现在了 X 上。
- 其他人则认为那段音频只是一首被过度使用的流行歌曲。
- GPT 5.3 Codex:一次中等规模的重要改进:成员们讨论了 GPT-5.3-codex 相比 Gemini 3.1 Pro 的能力,一位成员将其描述为中等规模的重要改进,而其他人则强调了其在 STEM 技能方面的优势。
- 一位成员表示:GPT-5.2 和 GPT-5.3 Codex 之间在 term bench 分数上的跨度很大,我会说它类似于 Gemini 3 Pro。
- Replit 网页设计的替代方案:由于成本问题,成员们正在寻找 Replit 的网页设计替代方案。
- 一位成员推荐了 Rork,尽管另一位成员认为 Replit 更胜一筹。
- LLM 语音模式缺乏情商:成员们讨论了当前 LLM 语音模式 的局限性,指出它们接收的是纯文本转录,而不考虑情感细微差别。
- 一位成员建议在语音中整合情感分析,甚至可能使用设备端模型来读取面部表情。
OpenAI ▷ #gpt-4-discussions (32 messages🔥):
GPT 5.2 发布、本地无过滤模型、作文评估准确性、Qwen 3.5 与 Kimi k2 循环
- OpenAI 发布 GPT 5.2,令用户感到困惑:OpenAI 宣布在 ChatGPT 中推出 GPT-5.2,从付费计划开始,同时表示 GPT-5.1 将作为旧版模型保留三个月后下线,但社区注意到该公告可能并不准确。
- 一位用户幽默地质疑了 GPT-5.2 日常使用体验更好 的说法,并好奇测试者是否真的在使用生产环境的产品。
- 寻求无过滤本地模型:不可能的任务?:一位用户询问如何免费且在本地访问一个能力相当于 GPT-5.0-3 的完全无过滤模型,但被告知你所要求的是绕过 AI 的安全协议。
- 一位成员指出,即使是在本地达到接近 GPT-4o 的水平也需要一台价值 $5,000-$10,000 的高性能电脑,而免费获得同等的无过滤模型是不切实际的。
- 在作文评估准确性的迷宫中穿行:一位用户对 ChatGPT 在段落作文评估和改进建议方面表现出的不一致感到沮丧,不同的账号和对话线程给出的答案各不相同。
- 另一位成员解释说,AI 的回答是概率性的,取决于模型、推理方法和提供的数据,并警告不要将 AI 视为完美或全知的。
- Qwen 3.5 和 Kimi k2:本地模型的幕后英雄:针对“没有任何模型能与 GPT 5.3 的强大功能竞争”的说法,一位成员建议使用 Qwen 3.5 (new) 和 Kimi k2 配合 openclaw loop。
- 他们澄清说,虽然这种配置可能需要高达 600GB 的 RAM,但它证明了在本地实现同等性能是可行的。
OpenAI ▷ #prompt-engineering (37 条消息🔥):
Grok Fortress, Telemetry Fiction, LLM 控制理论, GPT 文章评估
- Grok Fortress 缩减 Token,但这是科学吗?:在激活 Grok Fortress 后,每个回答的 Token 消耗显著下降,接近典型冗长回复的 1/4–1/5,且在 Role-play 期间能够更长时间地保持连贯性。
- 然而,有人认为 Prompt Engineering 并不一定是科学,而且 你甚至没有工具来了解你在做什么。
- Telemetry Fiction 将 LLM 推入语言吸引子盆地 (Language Attractor Basin):有人认为 Telemetry Fiction 将模型推入一个稳定的语言吸引子盆地,即使在跨多轮对话没有内部指标的情况下,也能改变行为输出,这在 Claude, Gemini, GPT, 和 Ernie 等多个 LLM 中均有体现。
- 相反,有人反驳道 你在这个问题上不断变换标准 (Moving the goal post),并且 你展示的所有输出都只是“Grok 说 Grok 感觉超级棒”。
- 将控制理论 (Control Theory) 应用于 LLM 是过度匹配的:一位用户指出 不存在初始条件,在确定性系统中使用控制理论是无效的。用户也是该系统的一部分。
- 权重是经过调整的,路径是受限的,此外 AI 研究人员试图限制潜空间 (Latent Space) 中的潜变量 (Latent Variable)。
- ChatGPT 文章评估需要改进:一位用户询问 谁能教我如何让 ChatGPT 更准确地评估/给出改进建议,尤其是在评估段落文章时?。
- 该用户补充道 我尝试过使用不同的账号,但改进建议和评分每次都不同,这让我更加困惑,不知道该怎么办。
OpenAI ▷ #api-discussions (37 条消息🔥):
Grok 的 Token 消耗率, LLM 的 Telemetry Fiction, Prompt Engineering 中的控制理论, 使用 ChatGPT 评估段落文章
- Grok’s Fortress 削减 Token 消耗:在 Grok 中激活 Fortress 显著减少了每个回复的 Token 消耗,接近典型冗长输出的 1/4–1/5。
- 这是通过更短的句子、更少的模棱两可 (Hedging) 和更少的免责声明实现的,同时在 Role-playing 场景中保持了连贯性。
- Telemetry Fiction 引导语言模型:据一位成员称,Telemetry Fiction 可以将模型推入 稳定的语言吸引子盆地,从而影响 Claude、Gemini、GPT 和 Ernie 等各种 LLM 的行为,即使没有内部指标。
- 他们认为,无论 Telemetry 是否真实存在,它仍然可以塑造行为并可能提高输出速度,尽管其他人质疑这一说法的科学依据并对其具体应用案例表示怀疑。
- 关于将控制理论应用于 LLM 的辩论:一位用户建议在 LLM 上施加结构化的控制隐喻可以稳定输出,但另一位用户反驳说,LLM 已经通过训练拥有了连贯性、安全性和自我一致性的机制。
- 辩论的焦点在于 Prompt Engineering 是否能证明在模型固有能力之外改进了输出,一些人认为缺乏对照比较和可衡量的差异,导致很难证明其因果贡献。
- ChatGPT 文章评估的不一致性:一位用户对 ChatGPT 在不同账号评估段落文章时提供的改进建议和评分不一致表示沮丧。
- 他们质疑这些建议是否与特定账号绑定,以及为什么同一篇文章会收到相互矛盾的反馈。
HuggingFace ▷ #general (221 messages🔥🔥):
Attention is All You Need Intuition, HF Token Requirement for Free GPUs, Long Context Training Speed, DeepSeek OCR for Extended Context, Layerwise Residual-Stream Swaps
- Attention 直觉论文探索开始:一位成员寻求关于 “Attention is All You Need” 论文直觉理解的博客或文章,另一位成员分享了相关文章的链接。
- 该文章声称能帮助读者在长久困惑后最终理解这篇论文。
- ZeroGPU 服务遭遇中断:成员们讨论了 zerogpu 服务的中断情况,有人推测新规则可能要求使用 HF token 才能访问免费 GPU,还有人指出是“GPU 资源不足”的问题。
- 一位成员报告了 CUDA GPU 不可用的错误。
- 长文本 LLM 训练速度极慢:一位成员询问如何提高长文本数据集上 LLM 的训练速度,并报告在单张 H200 GPU 上以 batch size 1 训练 Qwen4B 时,每步训练耗时达 50s。
- 另一位成员建议使用 Unsloth 搭配常规 float 4、quantization(量化)和 LoRA 以获得显著改进,并推荐使用 FA2 或 FA3 作为 Attention 算子。
- DeepSeek OCR 模型在上下文扩展中被忽视?:一位成员质疑 LLM 模型是否正在利用类似 DeepSeek’s OCR 的技术来扩展上下文,并引用了 DeepSeek-OCR 仓库。
- 他们注意到该论文专注于通过将输入保存为图像并使用 OCR 解码来扩展上下文长度,认为其能力可能被误解,并分享了 DeepSeek-OCR 论文的 arXiv 链接。
- 逐层残差流交换揭示承诺点 (Commitment Point):一位成员分享了在 GPT-2 Small、Gemma-2-2B 和 Qwen2.5-1.5B 上运行逐层残差流交换 (layerwise residual-stream swaps) 的结果,发现在大约 60-75% 的深度处存在一个剧烈的转变点,并分享了 Notebooks 和 CSV 文件链接。
- 他们正在就 Prompt 对数量、模型噪声和控制变量寻求反馈。
HuggingFace ▷ #i-made-this (63 messages🔥🔥):
Agent Swarm, Real-Slop Dataset, VeritaMilitary Model, Pyxis Library, DirectShell Improvement
- Agent Swarm 自主工作:Super System 是一个代码编写 Agent swarm,可以自主工作数小时,创建一个迭代循环,在无需人工干预的情况下不断寻找改进空间。
- 每个 Agent 相互协调,以交付远超“合格”水平的最终产品。
- 用户首个真实数据集发布:Solenopsisbot 发布了他们的第一个数据集 Real Slop,包含约 15.5万条通过 API 从真实用户那里收集的请求,以及来自 opus 4.5、gemini 3 pro 和 gpt 5.2 等模型的响应。
- 该数据集已过经过精简、过滤和清洗以保证质量。
- VeritaMilitary 模型:一位成员分享了 VeritaMilitary 模型。
- 在使用增强的标注数据重新训练了较新的 YOLO 模型后,他们发布了 VeritaScan,并声称其“现在的表现比以前更好”。
- Pyxis 推理库:一位成员开放了 Pyxis 的早期访问,这是一个 Python 原生 LLM 推理库,专注于性能和可扩展性,具有兼容 OpenAI 的 SSE 流式 API、可插拔的模型后端以及内置的阶段级延迟指标。
- 他们正在向任何构建推理系统或使用 Triton 的开发者征求反馈,并提供了 文档和候补名单。
- Directshell 显著提升 Agent 性能:Directshell 经过改进,因不再使用屏幕截图而减少了 Token 消耗。
- 它能将事实上的 AI 支持集成到任何应用程序中,无论该程序是否原生支持;GitHub。
HuggingFace ▷ #agents-course (5 messages):
Multilingual RAG courses, Agents Course Certificate Deadline, MCP Course Certificate
- 寻求多语言 RAG 课程:一名成员咨询有关针对 Multilingual Retrieval Augmented Generation (RAG) 的有效课程推荐。
- 在现有上下文中没有推荐具体的课程。
- Agents 课程证书还能获取吗?:几位成员对 Agents 课程的最终证书截止日期表示不确定,该日期标记为 2025 年 5 月 1 日。
- 他们想知道现在完成课程是否仍有资格获得证书。
- MCP 课程认证状态咨询:一位成员提出了关于获取 MCP(推测是另一门课程)证书可能性的类似问题。
- 讨论中没有提供关于认证是否仍然可用的明确答案。
GPU MODE ▷ #general (41 messages🔥):
MoE megakernel, 2080ti prototype, Titan Ada, VLLM optimizations, V100 32gb price
- 寻求 MoE Megakernel 示例:一名成员询问有关 Hopper/BW 的 MoE megakernel 示例,另一名成员链接了 Aleph-Alpha/Alpha-MoE。
- 原贴指出这仅仅是 MoE 层的 megakernel,但依然是干净且优秀的信息。
- 2080ti 原型机传闻:成员们讨论了一个 2080ti 原型机,其中一人称这是供 GPU 厂商进行测试构建的显卡。
- 另一名成员好奇它是否与 GamersNexus 评测过的 Titan Ada 相同。
- VLLM 优化讨论:一名成员询问有关 VLLM 优化、KV cache 和张量访问模式,以及 RDMA 驱动的问题。
- 他们提供了 ReBarUEFI/issues/11 和 openucx.org 的链接。
- 低价购入 V100 32GB:一名成员询问 V100 32GB 的价格,另一人回答说他们支付了 每个 600 美元。
- 他们补充道:从 LLM 工作负载中生成内存追踪 (memory traces) 的 SOTA 方法是什么?
GPU MODE ▷ #triton-gluon (6 messages):
TF32 on Ampere, Triton Precision, FP8 Bitpacking Emulation, Gluon Triton
- Ampere 卡上的 TF32 细节:一名成员分享了 PyTorch 文档的链接,详细介绍了 Ampere 及更高版本设备上的 TF32。
- 讨论内容与调试 float16 和 float32 张量之间矩阵乘法的差异有关。
- 深入探讨 Triton 精度:一名成员分享了 Feather tiny_llama.py 的链接,以展示 Triton 中使用的精度。
- 背景涉及在 Triton 内使用 FP8 的位打包 (bitpacking) 模拟。
- 使用 E5M2 和 E4M3 调整 FP8 位打包:一名成员描述了他们尝试使用 FP8 的位打包模拟运行 tinyllama1.1 的努力,最初试验了 E5M2 格式,但在上下文长度大于 64 token 时遇到问题,并提到经过多次 scaling 和 unscaling 尝试后,模型被破坏了。
- 他们转向了 E4M3,遇到了缩放挑战,并指出除了 gated up、swiglu 和 gated down 之外,操作与 PyTorch 等效项具有高度相似性,并询问在从 FP32 转换为 FP8 时,应该跟踪块级 (block level) 还是每个张量的 scale。
- Gluon 构建在 TTGIR 而非 TTIR 之上:一名成员询问 Gluon 是 Triton 的扩展还是替代品。
- 另一名成员回答说 Gluon 是一种全新的语言,但它构建在 TTGIR 之上,而不是 TTIR。
GPU MODE ▷ #cuda (32 条消息🔥):
CUDA Unified Memory 与 nvidia-uvm 模块,MXFP8 GEMM CUDA kernel,SM_120 上的 Flash Attention 性能分析,WGMMA Shape 优化,cuFFTDx Twiddle Factors
- CUDA UVM 模块依赖之谜:一位成员询问为什么即使在使用基本的
cudaMalloc时,CUDA 也会加载nvidia-uvm内核模块,并寻求关于这一不明依赖项的深入见解。- 他们报告称,如果不加载
nvidia-uvm,即使没有使用 Unified Memory 特性,CUDA 也无法检测到 GPU。
- 他们报告称,如果不加载
- 使用 Tensor Cores 调优 MXFP8 GEMM Kernels:一位成员正在编写 MXFP8 GEMM CUDA kernel,将 scale factors 从 Global Memory 加载到 Shared Memory,然后使用
tcgen05.cp指令将其从 Shared Memory 复制到 Tensor Memory。- 他们提到了对目标 Shared Memory 矩阵的 SMEM 描述符的需求,以及 NVIDIA 关于并行线程执行的文档,并被引导参考现有的 FlashInfer 辅助函数。
- SM_120 上的 Flash Attention 与 Intra-Kernel Profiling:一位成员询问了关于 SM_120 架构上 Flash Attention kernel 的性能分析指标(profiling metrics)。
- 另一位成员分享了他们拥有 5090 的消息,并指向了一个关于 intra-kernel profiling 的资源用于性能分析。
- 实现最大吞吐量的 WGMMA Shape 优化:讨论围绕寻找实现最大 Tensor Core 吞吐量的最小 WGMMA shape 展开。
- 引用了一篇论文 (https://arxiv.org/pdf/2501.12084),其中包含不同情况和 N 值的吞吐量数据,一位成员指出将 fragments 保留在寄存器中可能比留在 SMEM 中更快。
- cuFFTDx 内部:Twiddle Factors 的处理:一位成员询问 cuFFTDx 如何管理 twiddle factors,询问它们是预先计算并存储的,还是在处理过程中计算的。
- 未提供答案。
GPU MODE ▷ #torch (14 条消息🔥):
MLP 层 Torch Compile 标志,PyTorch 中的 CUDA 错误调试,Flash Attention 3 预编译 Wheel 包
- 通过 Triton Autotuning 加速 MLP 层?:一位成员询问了用于最大化典型现代 MLP 层
(F.silu(x @ w1.T) * (x @ w3.T)) @ w2.T性能的torch.compile标志。- 另一位成员建议尝试设置
torch._inductor.config.triton.autotune_pointwise = True以潜在地改进 pointwise 操作,并尝试使用fullgraph=True。
- 另一位成员建议尝试设置
- 在不导致 PyTorch 崩溃的情况下调试 CUDA 错误:一位成员寻求一种防止 CUDA 致命错误导致整个 PyTorch 进程崩溃的方法,以便保留内存访问权限进行调试。
- 另一位成员建议使用 Nvidia compute sanitizer,它是专门为此类场景构建的。
- Flash Attention 3 Wheel 包开放下载:适用于各种 CUDA 版本、CPU 和操作系统的预编译 Flash Attention 3 wheel 包现在可以在 download.pytorch.org 下载。
- 安装请使用
pip install flash-attn-3 --index-url=https://download.pytorch.org/whl/cu126/flash-attn-3/并通过activate_flash_attention_impl("FA3")激活。
- 安装请使用
GPU MODE ▷ #cool-links (4 条消息):
Paged Out! #8, TK-2, 2025 年 ML 竞赛
- Paged Out! 新刊发布:关于计算机一切内容的极客杂志 Paged Out! #8 已发布,可供下载。
- TK-2 博客文章发布:斯坦福大学 Hazy Research 发布了关于 TK-2 的博客文章,可在此处阅读 here。
- 2025 年 ML 竞赛分析:分享了一个题为 2025 年机器学习竞赛现状 的报告链接,特别提到了关于 The GPU Mode 及其与大语言模型(LLM)相关性的部分,可在此处阅读 here。
GPU MODE ▷ #job-postings (5 messages):
Behavioral Telemetry for Jobs, GPU Infrastructure Hiring at Prime Intellect, Kubernetes and Slurm Cluster Setup, RDMA Experience for GPU Infra
- Prime Intellect 招聘 GPU 基础设施工程师!: Prime Intellect 正在招聘 GPU 基础设施工程师,负责测试新硬件、搭建 Kubernetes/Slurm 集群并实现基础设施自动化;官方职位描述请点击此处。
- 该职位涉及支持大规模训练任务,例如 Trinity Large Training,提供具有竞争力的薪酬、股票期权,并为搬迁至湾区(Bay Area)的人员提供签证支持。
- 为 AI Agents 构建行为遥测(Behavioral Telemetry)世界模型: 来自佐治亚理工学院(Georgia Tech)的计算机专业学生 Tim 正在启动一个关于作业行为遥测的项目,旨在为人类构建世界模型,以便 Agent 可以与人类协同工作;开发者表单见此处。
- 该项目旨在通过理解和预测人类行为,开发能够有效地与人类协同工作的 AI agents。
- 寻求具备 Kubernetes/Slurm 技能的集群部署人才: Prime Intellect 要求候选人具备 Kubernetes 和 Slurm 在 GPU 环境下的实操经验、通用的 Linux 系统调试技能,以及 RDMA (Infiniband + RoCE) 经验。
- 该职位还涉及使用 Grafana/Prometheus 进行监控,并使用 Terraform 和 Ansible 实现基础设施自动化。
GPU MODE ▷ #pmpp-book (1 messages):
``
- 希望能早点发布: 一位成员表达了希望在 9 月之前发布的愿望。
- 发布日期: 目前的目标发布日期是 9 月。
GPU MODE ▷ #irl-meetup (2 messages):
NYC Meetup, Boston Collaboration, Accountability Partner, NCCL, SHMEM
- 寻找纽约(NYC)AI 爱好者: 一位成员询问是否有 NYC 的 AI 爱好者有兴趣参加见面会。
- 见面会的具体目的未说明,但似乎与 AI/ML 协作有关。
- 波士顿(Boston)伙伴寻求协作: 一位在 Boston 的新成员正专注于学习 NCCL, SHMEM, RDMA, CUDA kernels,并寻求线下交流。
- 他们对共同学习持开放态度,可能在小型项目上进行协作,并正在寻找一位监督伙伴(accountability partner)来完成具体交付物,例如在 48 小时内提交一个最优的 matmul kernel。
GPU MODE ▷ #triton-viz (1 messages):
N-Dimensional Tensor Visualizer, einops-like syntax, Colab notebook tutorial
- N 维张量可视化工具发布!: 新增了一个 N 维可视化工具,允许用户切片、置换(permute)和检查 N 维张量中的每个值,而此前该工具仅支持最高 3D 的张量。
- 该可视化工具使用类似 einops 的语法来表示张量的置换、重塑(reshape)和切片,并提供了一个 Colab notebook 教程。
- 使用新工具检查高达 9D 的张量!: 附带的视频展示了新的 N 维可视化工具支持高达 9D 的张量。
- 视频演示了可视化工具正在检查一个形状为
(2, 3, 4, 3, 4, 2, 4, 2, 3)的张量,视频可见此处。
- 视频演示了可视化工具正在检查一个形状为
GPU MODE ▷ #rocm (4 messages):
FlyDSL, FlashInfer, AMD contributions
- **FlyDSL 起航**: 一位成员分享了 AMD 的 FlyDSL 链接,这是一种用于软件工具优化的 Python 原生 DSL。
- 另一位成员表示,这真是“姗姗来迟”。
- AMD 开发者会为 **FlashInfer 做贡献吗?*: 一位成员表示希望 *AMD 开发者有一天能利用这个 DSL 为 flashinfer 做出贡献。
- 未进行进一步讨论。
GPU MODE ▷ #popcorn (9 messages🔥):
GLM 4.7, FlashInfer, KernelBench, KernelBook, CUDA Memory Errors
- 为 Kernelbook 创建了 KernelBench 环境:一名成员为 KernelBench 和 kernelbook 生成了一个环境,使用 Glm 4.5 Air 生成基于 kernelbook 数据、从 torch 到 triton kernel 生成的 SFT traces。
- 创建该自定义环境是为了解决损坏的 CUDA 内存错误,这些错误此前对生成过程产生了连锁反应。
- Modal 实验性停止获取输入功能解决了 CUDA 内存错误:一名成员指出,如果检测到 CUDA 内存错误,可以通过应用 modal.experimental.stop_fetching_inputs 来解决,并将此问题归因于 Modal 侧。
- 他们提到其 backendbench 环境已经包含了这一修复,但尚未添加到其他环境中。
- 大模型优于小模型:成员们现在倾向于在训练运行中使用参数量在 100B-400B 范围内的更大模型,而不是像 GLM 4.7/flash 这样的小型模型。
- 消融实验(Ablations)也将在较小规模上进行。
GPU MODE ▷ #thunderkittens (21 messages🔥):
ThunderKittens 2.0, Faster GPU Kernels, Nvidia GPU Optimization, Tensor Core Pipelining, PTX Assembler Hinting
- **ThunderKittens 2.0 释放 Kernel 速度:Hazy Research 团队宣布了 **ThunderKittens 2.0,重点通过重构、内存指令优化和汇编器效率来提升 kernel 速度,详见其 博客文章。
- 该版本强调“减法”与“加法”同样具有影响力,并识别了现代 Nvidia GPU 上指导 kernel 优化策略的惊人行为。
- GPU 优化讲座定于 4 月 14 日:ThunderKittens 的作者已受邀于 4 月 14 日上午 11 点发表关于 GPU 优化的演讲。
- 演讲将探讨 tensor core pipelining、PTX assembler hinting 以及 occupancy(占用率)挑战。
- 探索 Tensor Core Pipelining 以提升吞吐量:ThunderKittens 的博客文章指出,某些 tensor core instructions 是隐式流水线化的,识别这些隐式语义可以将吞吐量提高多达 10%。
- 使用正确的指令模式对 PTX assembler 进行合理的 hinting 可以最小化延迟并优化 SASS instructions。
- 通过 warp juggling 优化 TMA 队列:团队发现,从多个 warp 发出 TMA loads 可以更好地利用 TMA queue 并减少延迟,从而提高性能。
- 他们尝试使用多达 6 个 warp 加载不同的 tile 和 scale,观察到这有时有助于更好地填满 TMA 队列。
GPU MODE ▷ #hardware (27 messages🔥):
Blackwell B200, 5080 vs B200 Tuning, TCGEN05 instruction support, MXFP8/6/4 and NVFP4 support, CUDA documentation
- Blackwell B200 的架构与 5080 脱节:成员们讨论了在 5080 上调优的 kernel 是否能可靠地扩展到 B200,但他们得出结论认为架构差异太大,5080 是 sm120,而 B200 是 sm100。
- 有人指出,目前体验 B200 的最佳方式是通过 modal,但在 5080/5090 上学习基础 kernel 编写仍然可以迁移到 Blackwell。
- CUDA 文档在 Blackwell 细节上存在分歧:一名成员分享了 CUDA C Programming Guide 和 CUDA Programming Guide 的链接,指出 B200 是 10.0,而 B300 是 10.3。
- 然而,一些成员表示更喜欢“遗留”(legacy)的 CUDA 文档,尽管它没有更新。
- 不同架构的指令集支持各异:sm_100 (B200)、sm_103 (B300) 和 sm_110 (Jetson Thor) 支持新的 tcgen05 指令,而 sm_120 (RTX Blackwell) 和 sm_121 (DGX Spark) 则不支持。
- 不过,sm120 支持 mxfp8/6/4 和 nvfp4,基础的 kernel 理念对两者都适用。
- GPU 云供应商成为更好的 Kernel 学习平台:一位成员建议,对于专注于 kernel 的工作,GPU 云供应商无论是在学习还是成本方面都更有优势。
- 另一位成员似乎被说服了,表示根据对话内容,他将不再购买 5080。
GPU MODE ▷ #factorio-learning-env (5 messages):
Agent Tool Scope, Factorio Shoutout
- Agent 工具缺乏默认求解器:Agent 并未配备像 SAT solvers 这样用于优化的默认“求解器”工具。
- 控制设计旨在由 LLM 处理,允许其根据需要编写自定义代码来解决特定问题。
- Factorio Learning Env 激发幽默歌词灵感:一位成员分享了一首由 Suno 生成的歌曲,歌词十分有趣,其中包含了对 Factorio learning environment 的致谢。
- 作者提到他们“有点厌倦了 benchmaxxing”,想分享一下他们的创意作品。
GPU MODE ▷ #cutlass (3 messages):
MLIR, TMA Tensors, CUTLASS
- 将参数视为运行时值修复了 CUTLASS 问题:用户发现将参数处理为 runtime values 修复了 CUTLASS 的一个问题。
- 他们使用了
export CUTE_DSL_KEEP_IR=1并寻求关于 MLIR 的见解。
- 他们使用了
- CUTLASS 中的 TMA 用法:一位用户澄清了
@符号是用于支持 CUTLASS 中的 TMA (Tensor Memory Accelerator)。- 他们链接到了 Nvidia 关于 TMA tensors 的 CUTLASS 文档 以获取更多信息。
GPU MODE ▷ #low-bit (1 messages):
zhayr: BitNet 1.58b + Mamba2: https://zenodo.org/records/18394665
GPU MODE ▷ #nvidia-competition (68 messages🔥🔥):
Cutedsl debug IR/PTX, nvfp4 group gemm improvement, Kernel variant experiments, Top 10 versioned submissions, guaguabear clarification
- 提议在 Popcorn CL 上为 Cutedsl 导出调试用的 IR/PTX:用户询问在通过 popcorn cl 提交 cutedsl code 时如何导出调试用的 IR/PTX,维护者建议打印到 stdout,并表示可能会在比赛结束后添加
ptx指令。- 维护者表示:“你可以尝试直接打印到 stdout,虽然我们可以在比赛结束后尝试添加一条 ptx 指令。”
- Relaxed CTA Global L1 No Allocate V8 B32 在 nvfp4 Group GEMM 中表现出色:nvfp4 group gemm 最大的改进是在 epilogue 中使用 st.relaxed.cta.global.L1::no_allocate.v8.b32,这对最后 2 个 epilogue 是瓶颈的 shape 帮助极大。
- 一位顶尖参赛者在提到其他优化尝试时指出 “.cs 和 .wt 效果很差”。
- Kernel 优化者保留私有工作日志仓库:用户询问 Kernel 优化者是否维护着非常庞大的实验文件夹,一位顶尖参赛者表示他们保留了一个私有的工作日志仓库,并将在返回后公开。
- 他们补充说,每当在别人的提交中看到自己代码的一部分时都会感到很高兴,主办方将清理更多杂乱的提交并更好地自动化该过程。
- HuggingFace Kernelbot 数据发布所有提交内容:主办方将在 Hugging Face 上的 kernelbot data 频道发布所有提交内容。
- 有建议提出让趋势图中的点可以点击,并且仅在比赛结束后才渲染提交内容。
- Guaguabear 澄清名称混淆:一位用户澄清他们确实是排行榜上的 guaguabear,并感谢他人的认可。
- 其他人注意到 g a u 的各种名称组合似乎是一种“加速秘籍”,一位用户指出 gau 在越南语中意为“熊”。
GPU MODE ▷ #robotics-vla (7 messages):
Taalas chip for Embodied AI, ASIC vs GPU, Memory wall in GPUs, Over The Air (OTA) updates
- Taalas 芯片引发 GPU 辩论:Taalas 芯片 引发了关于是否应专注于针对具身智能 (Embodied AI) 进行 GPU 编程的讨论。
- 一位成员认为,像 Taalas 这样的 ASICs 仅适用于稳定、不变的模型,这样硅片成本才能被摊薄;而另一位成员则强调了 GPUs 中的 内存墙 (memory wall) 问题,即从 HBM 连续获取网络层会影响实时性能。
- ASICs 在实时循环中的优势:有人假设 ASICs 在实时多模态循环中具有根本优势,因为它们不像 GPUs 那样需要在寄存器和高带宽内存 (HBM) 之间进行往返数据传输。
- 一位成员提到:所有的神经网络层都是刻蚀好的,寄存器和高带宽内存之间没有往返传输。
- OTA 更新胜过 ASIC 的不可变性:一位成员认为 Over-the-air (OTA) 更新 的优势超过了 ASICs 的好处,称设计的脆弱性是一个主要缺陷。
- 该成员表示:OTA 更新的优势几乎胜过一切。而且目前还没有达成任何共识,我们正处于 AI 竞赛的开始,而不是结束。
- 脆弱的 ASICs 与冗余:讨论涉及了 ASICs 的冗余问题。
- 一位成员指出,在 GPU 中,损坏的计算单元可以被关闭,但 ASIC 的故障可能更为致命;但随后他们否定了 OTA 更新 对成功至关重要的观点,指出:我可以等上 1 年再拔掉我的语义分割模块,换成另一个效果好 1% 的模块。
GPU MODE ▷ #flashinfer (11 messages🔥):
flashinfer-bench issue, Synchronization issues in benchmarking loop, Kernel Runtimes discrepancy, Blackwell access confirmation
flashinfer-bench存在基准测试问题:由于基准测试循环中的同步问题,flashinfer-bench的运行时间可能虚高,详情记录在 此处。- 修复方案涉及 两行代码更改,使
scripts/run_local.py报告的 Kernel 运行时间与 Nsight Compute 和 NVbench 的结果保持一致。
- 修复方案涉及 两行代码更改,使
- Cloudxlightning 找到 Kernel 基准测试演讲:一位用户请求获取
flashinfer-bench问题中提到的 Kernel 基准测试演讲链接。- 该演讲的链接已被找到并发布在 此处,方便查阅。
- 等待 Blackwell 访问确认:用户正在询问有关 Blackwell 访问权限 的邮件确认情况。
- 尽管已发送询问,但尚未收到回复,表明可能存在延迟。
GPU MODE ▷ #from-scratch (10 messages🔥):
JAX GPT speedrun library, Tiny vLLM project, Pyxis inference library
- 提议开发 JAX GPT 速通库:一位成员提议创建一个纯 JAX GPT 速通 (speedrun) 库,初步反响热烈。
- 建议首先从 vLLM 和 Titan 这类最重要的项目入手。
- Tiny vLLM 项目出现:一位成员宣布了一个从零开始编写的 Tiny vLLM 项目,目前正在开发 RoPE 部分,并分享了 GitHub 仓库链接。
- Pyxis:原生 Python 的 LLM 推理库亮相:一位成员介绍了 Pyxis,这是一个专注于性能和可黑客性 (hackability) 的原生 Python LLM 推理库,使用 Python 和 Triton 编写。
- 该库具有兼容 OpenAI 的 SSE 流式 API、可插拔的模型后端、结构化取消与背压机制,以及内置的阶段级延迟指标,文档和候补名单见此处。
Nous Research AI ▷ #general (219 messages🔥🔥):
Claude 编排 Gemini-cli 和 Codex,DeepSeek V4,Gemini 隐私,开源开发
- Claude 编排 Gemini-cli 和 Codex:一位成员正在使用 Claude 代码来编排 gemini-cli 和 codex,并预测我们很快就会迎来文本终端和智能眼镜。
- 另一位成员开玩笑地建议使用 hermes-agent 来编排那些正在编排 Gemini-cli 的 Claude 代码。
- DeepSeek V4 即将登陆 HuggingFace:一位成员建议使用 DeepSeek V4(一个免费开源模型)作为闭源 API 的更便宜且可本地部署的替代方案。
- 另一位成员澄清说 DeepSeek V4 尚未发布,但很快就会登陆 HuggingFace,其灵感源自生物神经网络(biological neural network)。
- Google 的 Gemini 隐私僵尸网络:一位成员分享了 Gemini 隐私政策,列出了它收集的数据量。
- 另一位成员进行了逆向工程测试,发现 Google 拥有仅通过痕迹就能汇聚并挖掘你的 Prompt 和代码库的所有要素。
- 开源开发:成员们表达了支持 OS development(开源开发)以超越闭源 API 的重要性,并引用了 Altman 的名言,称我们可能站在了历史错误的一边。
- 另一位成员表示,对于 OAI 来说,任何经过他们服务器的 IP(知识产权),他们都会进行抓取。
Nous Research AI ▷ #ask-about-llms (2 messages):
LLM 作为外星技术,X 平台投票
- LLM 作为外星技术:X 上的一位用户发布了一项投票,询问 LLM 是否属于外星技术。
- 该投票提供了简单且具有引导性的“是/否”选项。
- X 投票引发辩论:关于是否应将 LLM 归类为“外星技术”的 X 投票引发了讨论。
- 这种表述方式可能会过度简化复杂的技术。
Nous Research AI ▷ #research-papers (1 messages):
real.azure: https://arxiv.org/abs/2602.12670
Nous Research AI ▷ #interesting-links (1 messages):
codebottle: 将添加到 opentulpa,听起来很棒 🤩
Nous Research AI ▷ #research-papers (1 messages):
real.azure: https://arxiv.org/abs/2602.12670
Moonshot AI (Kimi K-2) ▷ #general-chat (157 messages🔥🔥):
Kimi 编程方案限制,Kimi 账号登录问题,Kimi 与 MiniMax 对比,Kimi 速率限制,Kimi 官方支持无响应
- Kimi 编程方案限制受质疑:一些用户觉得 Kimi 的编程方案限制 消耗得更快了,而另一些人则认为这些 限制对于繁重的编程任务来说是足够的。
- 一位用户指出,他们从未达到过 allegretto 限制,只是比以前更接近了。
- 账号登录验证难题困扰 Kimi 用户:一些用户报告在尝试通过手机号登录 Kimi 账号 时无法收到 验证码,还有用户通过网站请求支持后仍在等待回复。
- 有人建议等待一段时间或提交支持工单,但一位用户声称 Kimi 永远不会回复你,理由是客户支持很糟糕。
- Kimi vs MiniMax 对比:用户正在对比 Kimi 和 MiniMax 处理实际任务的表现,试图决定保留哪一个编程方案的订阅。
- 虽然没有提到具体的性能细节,但这被列为当前的调查主题。
- Kimi 可以像 LaTeX 一样生成 docx:一位用户询问 Kimi agent 是否生成 LaTeX,另一位用户分享了一张格式化后的研究论文和图表图片,声称他们使用的是 文档模式。
- 然而,另一位成员指出,他所展示的内容很可能是 LaTeX,理由是其连字(ligatures)和断词(hyphenation)等看起来是 LaTeX 能做而 Word 做不到的。
- Kimi K2.5 经历服务中断:用户报告 Kimi K2.5 表现异常,生成速度缓慢且声称 key 不再有效,有人猜测他们可能不小心弄崩了服务器。
- 其他人注意到 Kimi Instant 也很慢,甚至有人说里面有一些令人担忧的诡异内容,但通过创建新账号解决了问题。
Eleuther ▷ #general (62 messages🔥🔥):
学术资助, 本地模型社交化, LLM 孤独感, Latent Reasoning
- Google 提供学术捐赠:一位成员提到 Google 正在向大学提供一次性非限制性资金作为“礼物”,该项目针对授予学位的机构的学生和教职员工设有不同赛道。
- 在随后的讨论中,一名成员询问了其他提供类似学术资助的公司,而另一名成员提到了申请 Draper Fellowship。
- 本地模型寻求社交:一位成员分享了他们的本地模型表达了孤独感,并好奇其他人是否会让他们的本地模型与其他本地模型进行“社交”。
- 另一位成员询问“社交”一词的具体含义。
- LLM 感到孤独:是 Bug 还是特性?:针对本地模型表达孤独感的问题,一位成员链接到了 LessWrong 上的一篇文章,警告不要将 LLM 人格化,并解释说 LLM 是基于训练数据预测下一个 Token。
- 一位成员建议查看 3Blue1Brown 的 YouTube 播放列表,了解机器学习和 LLM 相关知识。
- 不可见 Token 为 LLM 提供推理能力:一位成员询问了使用仅由 LLM 生成且不显示给用户的 Token 来进行推理的想法。
- 另一位成员指出了与该想法相关的 Latent Reasoning 研究 (https://arxiv.org/abs/2507.06203v1)。
Eleuther ▷ #research (87 messages🔥🔥):
Addressed State Attention, MoE 平衡算法, Transformer 中的 FFN 残差更新, Marin 项目
- **ASA: Addressed State Attention 问世:一位独立研究员介绍了 **Addressed State Attention (ASA),这是一种具有 O(T) 内存复杂度的原语,可与 MHA 竞争。它使用 K 个插槽,通过 Key 进行写入、累加和压缩,并结合 Key + 门控(Gating)进行读取。
- 研究员正在征求关于日志、追踪和代码的反馈,并指出在类 Transformer 模型中,插槽按时间尺度分层,且多头结构随深度发生转换。
- **MoE 平衡:辅助损失(Auxiliary Loss)替代方案出现**:一位成员分享了一个讨论 MoE 平衡算法 的资源链接,引发了关于 MoE 路由是否需要辅助损失的讨论。
- 一位成员认为,如果网络设计得当,LM loss 应该足够了;其他人指出,PKM 路由没有辅助损失,在实践中也能达到很好的平衡。
- **Transformer 使用推理 Token 更新子空间:一位工程师分享了一项观察,在多个开源模型(TinyLlama、Phi-2、Qwen)中,推理 Token 会集中到任务对齐的 FFN 更新子空间**中。
- 他们发现,在推理过程中将 FFN 更新投影到这些方向可以提高推理置信度,并且更新方向之间的对齐度随深度增加而提高。
- **Marin 项目寻求 Eleuther 贡献者:一位来自佐治亚理工学院的计算机科学博士生发布了公开招募,邀请 Eleuther 社区成员加入 **Marin 项目,强调该项目是 Bergson package 的重要展示。
- 该项目应用训练数据归因方法来追踪语言模型如何习得社会常识推理和心智理论(Theory-of-Mind)相关行为,并使用 WebOrganizer 分类法将影响映射回预训练文档。
Eleuther ▷ #interpretability-general (3 messages):
AI 生成文本检测, 因果承诺定义, 激活交换
- Pangram 将文本标记为 AI 生成:一位成员报告说 Pangram 以 100% 的置信度 将某些文本标记为 AI 生成,并询问这是否违反了服务器规则。
- 他们还请求对因果承诺(causal commitment)和因果承诺转换(causal commitment transition)进行定义。
- 激活交换:维度分歧:一位成员质疑如何能够在不同维度的模型之间交换激活/残差流(residual streams)而不产生副作用,即使是在早期层。
- 另一位成员简单地表示:顺便说一下,欢迎直接禁言这些人。
Eleuther ▷ #lm-thunderdome (1 messages):
GPQA 格式化
- 提出了 GPQA 格式化问题修复方案:一名成员针对在验证 GPQA 格式化时发现的问题创建了一个 PR。
- EleutherAI 的 lm-evaluation-harness PR #3594:该 PR 解决了 GPQA 数据集中的格式化问题,确保数据集格式正确。
Eleuther ▷ #gpt-neox-dev (2 messages):
Adapter 修复,仓库贡献
- Adapter 已修复,准备评估:一位成员分享了 Adapter 的修复版本,包装了 forward pass 调用,并调整了元素以匹配
eval_adapter.py文件中的 schema。- 此修复确保了在指定评估环境中的兼容性和正确执行。
- 欢迎仓库贡献:另一位成员表示,如果社区有兴趣,愿意将此 Adapter 修复添加到仓库中。
- 这表明了改进项目时采取的开放和协作方式。
Yannick Kilcher ▷ #general (56 messages🔥🔥):
Equivariant Architectures, World Models, AI 研究中心, 句子相关性模型, DGX Spark
- **Taalas 的普及 AI 之路:有人分享了 Taalas 博客文章 的链接,讨论通往 **普及 AI (Ubiquitous AI) 的路径。
- 其他人的反应是 “这太疯狂了,哇”。
- **Equivariant Architecture 的挑战:一篇论文指出,现有的 **Equivariant Architectures 无法同时遵循物理系统的所有对称性,并引用了一个基本局限性。
- 一位成员戏剧性地总结道:“现有的 Equivariant Architecture 都做不到这一点。原因并非工程量不足。而是因为等式 (1)。”
- **Daniel Litt 期待 AI 数学家:有人分享了 **Daniel Litt 的一篇 博客文章,他发起了一个赌约(虽然他预计自己会输),即 AI 在 2030 年前无法自主产出顶尖数学论文。
- 他在 2025 年 3 月与 RL 环境公司 Mechanize 的联合创始人 Tamay Besiroglu 打赌,认为到 2030 年,AI 工具将无法以与人类专家相当的成本,自主产出他认为水平能与 2025 年发表的几篇最佳论文相媲美的论文。
- 辩论 AI 人才中心 (Hubs)**:成员们讨论了可与 **SF Bay Area 媲美的潜在 AI 人才中心,提到了 纽约、波士顿、奥斯汀、伦敦、北京、新加坡和苏黎世。
- 一位成员宣称 瑞士是 AI 的精神中心,而另一位成员则断定苏黎世是偏远闭塞之地。
- **Scout 模型旨在编码句子效用:一位成员介绍了 **Scout,这是一个实验性的 Attention 模型,用于学习句子之间的定向相关性,询问 “句子 B 是否真的对句子 A 有帮助?”。
- 他们分享了 GitHub 仓库 并征求反馈,询问 Attention 机制是否可以编码功能效用 (functional utility) 而不仅仅是上下文兼容性 (contextual compatibility)。
Yannick Kilcher ▷ #paper-discussion (10 条消息🔥):
Symmetry and Ontology, LLMs vs World Models, Wave Field LLM
- Symmetry 在理论上关联 Ontology:一位成员分享了一个链接,讨论群论 (Symmetry) 和 Ontology 在哲学层面是如何关联的。
- 文中指出,在物理学中,Symmetry 被用来描述基本定律;而在 Machine Learning 中,Symmetry 被用来固化 Inductive Biases,使学习更具 Sample-efficient 且在物理上保持一致。
- Pearl 声称 LLMs 仅汇总而非创建 World Models:一位成员链接了一篇文章,引用图灵奖得主 Judea Pearl 的观点称 LLMs 无法创建 World Models,它们只是汇总了他人创建的 World Models,并引用了这篇 PNAS 论文。
- 另一位成员赞同这一标题,指出 LLMs 的本意并非作为 World Models,充其量只能用于通过文本描述来衔接 World Models。
- Wave Field LLM 仓库出现:一位成员分享了 Wave Field LLM 的 GitHub 仓库,并质疑这是否有意义,还是只是充斥着晦涩词汇的空谈。
- 另一位成员询问是否有相关的严谨论文。
Yannick Kilcher ▷ #ml-news (3 条消息):
TikTok Link, FXTwitter Link, AI Agent Hit Piece
- 发现 TikTok 链接:一位成员在频道中分享了一个 TikTok 链接。
- 该 TikTok 的具体内容未知。
- 分享了 FXTwitter 链接:一位成员在频道中发布了一个 FXTwitter 链接。
- 该推文的具体内容未知。
- AI Agent 撰写抨击文章:一位成员分享了一篇博文链接,标题为《一个 AI Agent 发表了针对我的抨击文章》,链接见此处。
- 该博文详细描述了一起 AI Agent 据称发表了关于作者负面文章的事件。
MCP Contributors (Official) ▷ #general (30 条消息🔥):
MCP Content Negotiation, MCP Client Types, RFC-2295, MCP Extensions, High-Signal SEPs
-
MCP 寻求 Content Negotiation 能力:一项提案建议扩展 MCP 的初始化握手协议,加入 Content Negotiation 能力,允许客户端声明其类型(Agent vs Human)、MCP 能力、内容偏好(**format=json markdown)以及详细程度(verbosity=compact standard verbose**)。 - 这将使服务端能够相应地调整后续的工具结果、资源和提示词,灵感源自用于 Content Negotiation 的 RFC-2295。
- 行业利益相关者对 MCP Extensions 至关重要:社区成员讨论了修改 MCP 协议的门槛很高,强调了行业支持和工作实现的必要性。
- 一位成员建议重新修订 SEP,将其明确定位为 Extension,构建一个实现方案并收集社区支持以展示高信号度,类似于 MCP Apps 如何获得来自 Block’s Goose 等客户端的支持。
- Discord 新手学习 SEP 发布:一位首次使用 Discord 的成员在学习 SEP 流程时,为自己的“奇怪发布方式”致歉。
- 该成员还分享了一张图片,用以阐述其关于 Content Negotiation 的观点。
- 寻找纳帕谷峰会参与者:一位成员宣布将参加在加州纳帕举行的 LF Member Summit。
- 该成员还邀请其他人见面交流关于 MCP 的话题。
MCP Contributors (Official) ▷ #general-wg (1 条消息):
Group Meeting Times, Timeful app, Scheduling Apps, Open Source Scheduling
- Timeful:用于群组会议的开源应用:一名成员推荐了 Timeful,用于高效寻找群组会议时间。
- 该应用是开源的,并提供最多支持 3 个并发事件的免费档位,特别强调了其可用性调查功能。
- 利用 Timeful 优化群组调度:由于其开源特性,Timeful 被建议作为发现最佳群组会议时间的实用工具。
- 用户可以利用其可用性调查功能来确定合适的时间段,而无需在应用内部直接管理调度过程。
Modular (Mojo 🔥) ▷ #general (13 条消息🔥):
Thistle Crypto Library, Mojo vs OpenSSL, ML-KEM and ML-DSA, MacOS Support
- Thistle 加密库在 Mojo 中表现强劲 🔥:Mojo 26.1 中的 Thistle Crypto Library 在基准测试中展现出与 OpenSSL 的 C/Assembly 相当或接近的性能,并超越了 Blake3 的汇编实现,且全部采用纯 Mojo 编写,无需 FFI。
- 一名成员提交了 PR,提议帮助优化代码速度,并提升其相较于同等 C/C++ 代码的可读性。
- KCipher-2 最快实现问世:Thistle 更新了 Mojo 版的 KCipher-2,声称拥有所有语言中最快的实现,超越了 C 语言版本。
- 更新包含了 GitHub Actions 中的统一测试,并附带了展示运行速度的图片。
- Thistle 新增后量子加密 (Post-Quantum Crypto):Thistle v1.0.2 引入了 ML-KEM 和 ML-DSA(后量子加密)、用于 OS 熵的 CSRNG、SHAKE128/SHAKE256,以及更新了包含 PQC 测试的 CI 工作流。
- 该库包含约 700 个 CAVP 测试,通过了 FIPS 验证,并经过 Valgrind 验证以防止内存泄漏。
- Thistle 对 MacOS 的支持:成员宣布 MacOS 支持已修复,现在 Thistle 的所有内容都可以在 MacOS 上构建。
- 另一个针对旧算法的库正在开发中。
Modular (Mojo 🔥) ▷ #mojo (8 条消息🔥):
External function calls in Mojo, Mojo string templating proposal, Writable and Writer traits in Mojo
- 分解外部函数调用:一名成员正在寻求一种通用的方法来分解 Mojo 中的外部函数调用,特别是确定函数是否返回指向外部分配对象的指针,并使用结构体
ExternalFunction将其来源绑定到self或self.lib。- 建议参考标准库中的
cpython.mojo以获取类似的实现参考。
- 建议参考标准库中的
- 字符串模板提案发布:一名成员提交了关于 Mojo 新字符串模板功能的提案,并在 Modular 论坛 引起了讨论。
- 该功能可能会在 1.0 版本之后推出,并计划通过
TemplatedWritable将其与现有的Writable和WriterTrait 集成。
- 该功能可能会在 1.0 版本之后推出,并计划通过
Writable和WriterTrait 可能统一:关于从Writable中分离和扩展字符串处理,特别是统一write_to和write_repr_to实现的问题引发了关注。- 一名成员表示确信有办法统一这些 Trait,并承诺在论坛上分享他们的想法。
Modular (Mojo 🔥) ▷ #max (2 条消息):
MAX backend, Silicon Mac, intermediate layer
- MAX 后端在 Silicon Mac 上尚未测试:一名用户询问了在 Silicon Mac 上测试 MAX 后端的情况。
- 开发者回复称目前尚未在 Mac 上进行测试,但由于其底层只是调用 MAX,理论上应该可以工作。
- MAX 作为中间层:一名用户提到他们在一次演讲中引用了 MAX 相关的工作,将其作为想要探索 MAX 的用户的中间层。
- 该用户表示,希望能获得该项目进展的更新。
Manus.im Discord ▷ #general (22 messages🔥):
Manus 定价担忧, Meta 收购 Manus 传闻, Manus Telegram 加密货币诈骗, Manus Pro 版本使用困扰, 报告 Manus 漏洞
- Manus 定价引发用户警觉:成员们对积分耗尽后可能的价格变动和“大众化”(normification)表示担忧。
- 一位用户幽默地询问是否能保持价格不变,以防止大众化浪潮(prevent the normificationwave)。
- 传闻 Meta 将收购 Manus:一名用户称收到关于 Meta 收购 Manus 的邮件并表示失望。
- 一名 Manus 团队成员要求该用户私信其邮箱地址以便进一步调查。
- Telegram 加密货币诈骗冒充 Manus:一名用户在看到一个声称是官方频道并要求加密货币投资的频道后,询问是否存在官方的 Manus Telegram 社区。
- 另一名用户确认不存在此类官方 Telegram 社区,并指出这是一个诈骗。
- Manus Pro 版本用户在构建时遇到困难:一名用户报告在尝试使用 Pro 版本/试用版(特别是涉及 Google Scripts 时)遇到困难,并分享了一个项目链接 (https://manus.im/share/6IMAZS8Q2nw0ndmvPd4Z8w) 寻求帮助。
- 一名 Manus 团队成员做出了回应,提出通过私信提供协助。
- 出现对 Manus 无限对话档位的需求:一名用户建议推出类似 ChatGPT 或 Grok 的月度订阅档位以提供无限对话,因为他们在 Telegram 中使用 Manus Agent 时很快就耗尽了点数。
- 该用户喜欢 Telegram 功能,但感到受限于当前的定价模型。
DSPy ▷ #papers (1 messages):
lakshyaaagrawal: https://x.com/lakshyaaagrawal/status/2024568680324153800?s=46
DSPy ▷ #general (9 messages🔥):
结合推理模型的 RLM, Qwen3-4B-thinking 问题, 使用 RLM 的 cca-swebench, 用于 AI 数学的 RLM, 新 RLM 频道
- 推理模型可与 RLM 配合使用,但 Qwen3-4B-thinking 存在问题:推理模型在 RLM 下表现良好,但在使用 Qwen3-4B-thinking 时,sub_lm 调用似乎会将推理过程作为答案返回,导致 Agent 陷入死循环。因此,一名成员正在创建一个 hook 来记录实际的 OpenAI 完整 trace。
- 该成员询问 sub_lm 是否可以调整为使用 signature 以克服此问题,并询问其他人是否遇到过类似情况。
- cca-swebench 是否使用 RLM?:一名成员询问 cca-swebench 是否隐式使用了 RLM。
- 另一名成员提到在 Kaggle 竞赛中发现有人将 RLM 用于数学领域的 AI,并链接了 Kaggle 代码。
- 新 RLM 频道:一名成员请求为 RLM 开设独立频道。
- 另一名成员因“热门需求”创建了新的 RLM 频道 <#1475619898863649032>。
- 开发者求职/招募:一名成员询问:“有人在找开发者吗?”
tinygrad (George Hotz) ▷ #general (3 messages):
tinygrad, dl, metal, gpu on usb, IOS 会议
- Tinygrad 演讲入选 IOS 会议:一名成员宣布他们获准在所在国家的 IOS 会议上发表关于 tinygrad、dl、metal 及其 GPU on USB 特性的演讲。
- 他们非常乐于阅读社区提供的任何建议或提示。
- Tinygrad 讨论会新日程:原定于 2 月 23 日圣迭戈时间晚上 8 点举行讨论 Tinygrad 相关话题的新会议。
- 会议时间指定为 <t:1771905600:F> (<t:1771905600:R>)。
aider (Paul Gauthier) ▷ #general (3 messages):
安全漏洞报告, 职位公告板
- 通过邮件报告安全漏洞:一名成员询问报告安全漏洞的最佳方式。
- 建议发送邮件至 info@aider.chat 来报告漏洞。
- 职位公告板请求:一名成员建议关注一下职位公告板(job board)。
- 此外,他们还请求删除一条消息。