只需要再等两周…

2024年9月9日至9月10日的 AI 新闻。我们为您检查了 7 个 subreddit、433 个 Twitter 账号 和 30 个 Discord（215 个频道和 2311 条消息）。预计节省阅读时间（以 200wpm 计算）：247 分钟。您现在可以标记 @smol_ai 进行 AINews 讨论！

让我们来看看：

• Glean 估值再次翻倍
• Dan Hendrycks 的 Superforecaster AI 生成了非常可信的选举预测？人们想知道它在辩论后会如何更新。查看 Prompt。
• 一篇关于 LLM 生成新颖研究思路 的斯坦福论文广为流传，并提出了一个重大声明：“经过为期一年的研究，我们得出了第一个具有统计学意义的结论：LLM 生成的想法比人类专家研究员撰写的想法更具新颖性。”
• SambaNova 宣布其 Llama 3 推理速度略快于 之前的世界纪录保持者 Cerebras（我们的报道见此）。独立评估正在进行中。
• Benjamin Clavie 就 RAG 和 ColBERT/Late Interaction 发表了一场备受关注的演讲。
• 据报道 Strawberry 将在 2 周内发布

昨天，人们还对 Google Illuminate 感到兴奋，这是一种 AI 生成的关于论文和书籍的播客讨论。它目前需要排队等待，但我们在 Smol AI 也在探索做同样的事情。查看我们的第一次尝试！

目录和频道摘要已移至此邮件的网页版：！

AI Twitter 摘要

所有摘要均由 Claude 3.5 Sonnet 完成，取 4 次运行中的最佳结果。

Apple 的 AI 发布与行业反应

• Apple 发布了 iOS 18 的新 AI 功能，包括视觉智能功能和 Siri 的改进。@swyx 指出，Apple 可能已经“修复了 Siri”并推出了视频理解模型，在首款 AI 手机的竞争中击败了 OpenAI。新功能包括邮件和通知摘要、个人上下文理解以及视觉搜索集成。

• 新的 iPhone 摄像头按钮被视为“黄金位置”，OpenAI/ChatGPT 和 Google 搜索被视为 Apple 视觉搜索的次要选项。@swyx 强调，摄像头现在可以将事件添加到日历中，处理过程在设备端和云端共同完成。

• 一些用户对 Apple 最近的创新表示失望。@bindureddy 提到，近年来没有令人信服的理由去升级 iPhone，并指出 Apple Intelligence 似乎与多年前发布的 Google Lens 类似。

AI 模型发展与争议

• AI 社区讨论了 Reflection 70B 模型，反应不一且充满争议。@BorisMPower 表示，该模型的表现很差，与最初的宣传相反。@corbtt 宣布对该模型的性能展开调查，并与创作者合作以复现报告的结果。

• @DrJimFan 强调了在 LLM 基准测试中“刷分”的简易性，认为 MMLU 或 HumanEval 的数字不再是模型性能的可靠指标。他建议使用 LMSys Chatbot Arena 上的 ELO 积分以及来自受信任第三方的私有 LLM 评估，以获得更准确的评估。

• AI 研究社区讨论了评估方法的重要性。@ClementDelangue 宣布开源 “Lighteval”，这是 Hugging Face 内部使用的一套评估套件，旨在改进 AI 基准测试。

AI 研究与创新

• 一项比较 LLM 生成的研究创意与人类专家创意的研究发现，AI 生成的创意被认为更有新颖性。@rohanpaul_ai 分享了论文的核心见解，指出 LLM 生成的创意获得了更高的新颖性评分，但在可行性上略逊于人类的创意。

• @omarsar0 讨论了一篇关于 LLM 中 In-context learning (ICL) 的新论文，强调 ICL 结合了从上下文示例中学习和检索内部知识的能力。

• @soumithchintala 宣布发布 RUMs，这是一种机器人模型，在未见的全新环境中能以 90% 的准确率可靠地执行基础任务，这可能会开启更长轨迹的研究。

AI 工具与应用

• @svpino 分享了一个 AI 能力的例子：在几秒钟内将复杂文档转化为交互式图表，强调了该领域的快速进展。

• @jeremyphoward 宣布 FastHTML 支持 SVG，从而允许创建 Mermaid 编辑器。

• @rohanpaul_ai 讨论了 DynamiqAGI，这是一个全面的工具包，用于处理各种 GenAI 使用场景，并在个人基础设施上构建合规的 GenAI 应用程序。

AI 伦理与安全

• @fchollet 认为，Machine Learning 和 AI 中过度的拟人化是导致该领域产生误解的原因。

• @ylecun 讨论了武装平民民兵在推翻民主政府和支持暴君方面的历史作用，并将其与当前事件进行了类比。

梗与幽默

• @sama 分享了一个幽默的比喻：“如果你给垃圾桶绑上火箭，垃圾桶仍然可以进入轨道，而且垃圾火在离开大气层时会熄灭，”暗示虽然这包含重要的见解，但最好还是发射精良的卫星。

AI Reddit 摘要

/r/LocalLlama 摘要

主题 1. Reflection 70B：从炒作到争议

• Smh：Reflection 优秀得令人难以置信 —— 参考文章 (Score: 42, Comments: 19)：最近备受赞誉的开源 AI 模型 Reflection 70B 的性能受到了质疑，其背后的公司被指控欺诈。根据 VentureBeat 的一篇文章，人们对该模型报告的能力和 Benchmark 的真实性提出了担忧。这一局面引发了 AI 社区关于 AI 模型性能声明验证的辩论。

• 不了解这件关于 “Reflection” 的事？你不是一个人。这是我能总结出的最佳概括。 (Score: 178, Comments: 81)：该帖子总结了 Reflection 70B 争议。Matt Shumer 声称利用 “Reflection Tuning” 和 Llama 3.1 创建了一个革命性的 AI 模型，超越了 ChatGPT 等成熟模型。随后的调查显示，其公开 API 很可能是 Claude 3.5 Sonnet 的封装（wrapper），而发布的模型权重则是微调效果不佳的 Llama 3 70B，这与 Shumer 的说法相矛盾，并引发了对潜在欺诈以及与 Glaive AI 之间未披露利益冲突的担忧。
  • Matt Shumer 关于 Reflection 70B 模型的言论遭到了怀疑，用户质疑在声称是自己模型的情况下，如何能“意外地”链接到 Claude。一些人推测，在 AI 融资环境收紧的情况下，这可能是一起欺诈案件或出于绝望之举。
  • 这一事件被拿来与其他备受争议的 AI 项目（如 Rabbit device 和 “Devin”）进行比较。用户对 OpenAI 的怀疑也日益增加，质疑该公司关于语音和视频能力的说法，并注意到了核心员工的离职。
  • 讨论集中在 Shumer 行为背后的潜在动机，一些人将其归结为愚蠢或自恋而非恶意。另一些人则推测这可能是为了提升 Glaive AI 的知名度，或通过误导性声明来获取风险投资。
• Reflection 以及 FP16 与 BF16 之间永无止境的混淆 (Score: 42, Comments: 15)：该帖子讨论了上传到 Hugging Face 的 Reflection 70B 模型的一个技术问题，其表现不如基准模型 LLaMA 3.1 70B。作者解释说，这很可能是由于从 BF16（LLaMA 3.1 使用）到 FP16（Reflection 使用）的错误转换造成的，由于格式不兼容（FP16 为 5 位阶码和 10 位尾数，而 BF16 为 8 位阶码和 7 位尾数），导致了严重的信息丢失。帖子强烈建议不要在神经网络中使用 FP16，也不要尝试将 BF16 权重转换为 FP16，因为这会严重降低模型性能。
  • BF16 到 FP16 的转换可能并不像最初建议的那样具有破坏性。llama.cpp 的测试显示，BF16 和 FP16 之间的 Perplexity（困惑度）差异比 FP16 到 Q8 的差异小 10 倍，而且 Hugging Face 上的大多数 GGUF 文件很可能都是基于 FP16 转换的。
  • 鉴于之前关于基础模型、规模和开源状态的错误陈述，讨论强调了在评估 Shumer 的声明时进行贝叶斯推理（Bayesian reasoning）的重要性。一些用户强调需要结合技术解释来考虑这些因素。
  • 几位用户指出，大多数模型权重通常落在 [-1, 1] 范围内，这使得 FP16 转换的影响较小。将每个权重量化（Quantization）到 8 位或更低通常只会导致微不足道或合理的精度损失，这表明 FP16 与 BF16 的差异在实践中可能微乎其微。

主题 2. AMD 的 UDNA：统一 RDNA 和 CDNA 以挑战 CUDA

• AMD 宣布统一的 UDNA GPU 架构 — 将 RDNA 和 CDNA 结合以对抗 Nvidia 的 CUDA 生态系统 (Score: 284, Comments: 90): AMD 发布了全新的统一数据中心下一代架构 (UDNA)，结合了 RDNA 和 CDNA 的元素，为游戏和数据中心应用创建单一的 GPU 架构。这一战略举措旨在通过提供支持 AI、HPC 和游戏工作负载的统一平台，挑战 Nvidia CUDA 生态系统的统治地位，从而简化不同 GPU 类型的开发，并提高 AMD 在 GPU 市场的竞争力。

主题 3. DeepSeek V2.5：低调发布的强力模型

• DeepSeek 低调发布了 DeepSeek-Coder-V2-Instruct-0724，在 Aider LLM 排行榜上位列第二，且根据排行榜表现优于 DeepSeek V2.5 (Score: 183, Comments: 39): DeepSeek 低调发布了 DeepSeek-Coder-V2-Instruct-0724，这是一款全新的编程模型，在 Aider LLM Leaderboard 上获得了第二名。根据排行榜，该模型的表现超过了其前身 DeepSeek V2.5，标志着 DeepSeek 在编程能力上的显著提升。
  • DeepSeek-Coder-V2 将支持的编程语言从 86 种扩展到 338 种，并将上下文长度从 16K 扩展到 128K。该模型运行需要 8x80GB 显卡，目前大多数用户无法使用轻量化版本。
  • 用户讨论了 DeepSeek 通用模型和代码模型之间的版本编号混淆。新款代码模型 (0724) 在 Aider LLM Leaderboard 上优于 DeepSeek V2.5，但根据 Hugging Face 的数据，V2.5 在大多数其他基准测试中击败了 0724。
  • 一些用户对更小、特定语言的模型表现出兴趣，以便于切换和交互。DeepSeek 通常在初次发布后约一个月将其模型开源。
• 所有的这些闹剧分散了我们对一个真正重要的权重开源发布的注意力：DeepSeek-V2.5 (Score: 472, Comments: 95): 尽管 DeepSeek-V2.5 具有作为 开源 GPT-4 等效模型的潜在重要性，但其发布已被近期 AI 行业的闹剧所掩盖。这款新模型可在 Hugging Face 上获取，据报道它结合了通用和编程能力，并升级了 API 和 Web 功能。
  • DeepSeek-V2.5 的评价褒贬不一，一些用户发现它在创意写作和通用任务方面不如 Mistral-Large。该模型运行需要 80GB*8 GPU，限制了其在本地使用的可及性。
  • 用户报告了运行该模型时的问题，包括 oobabooga 中的错误以及缓存量化问题。一些用户使用 llama.cpp 并缩减上下文长度取得了有限的成功，但性能较慢，仅为每秒 3-5 个 token。
  • 尽管存在疑虑，一些用户发现 DeepSeek-V2.5 在增加输出多样性和解决编程问题方面很有用。它可以在 Hugging Face 上获取，也可以通过高性价比的 API 使用。

主题 4. 模型效率与部署的创新方法

• Open Interpreter 退还了 01 Light AI 硬件设备的所有订单，转而将其开发为手机 App。App 今日上线！ (Score: 42, Comments: 4): Open Interpreter 取消了其 01 Light AI 硬件设备的计划，转而推出一款具有相同功能的移动应用。这一决定似乎受到了 Rabbit R1 等类似 AI 硬件设备负面评价的影响，Open Interpreter 选择利用 iPhone 和 MacBook 等现有设备，而不是引入新的硬件。

• 在手机上使用 LLM 生成可用的移动应用 (评分: 60, 评论: 23): 该帖子讨论了直接在智能手机上使用大语言模型 (LLMs) 生成可用移动应用的潜力。这一概念暗示了未来用户可以通过与移动设备上的 AI 助手进行自然语言交互来创建功能性应用程序，这可能会彻底改变应用开发和可访问性。虽然该帖子没有提供具体的实现细节，但它暗示了端侧 AI 能力和移动应用创建流程的重大进步。

• Deepsilicon 运行神经网络的 RAM 占用减少 5 倍，速度提升约 20 倍。他们正在为此构建软件和定制芯片 (评分: 111, 评论: 32): Deepsilicon 声称通过软件和定制芯片的结合，运行神经网络时可减少 5 倍 RAM 占用，并实现约 20 倍的性能提升。他们的方法涉及使用三元值 (-1, 0, 1) 来表示 Transformer 模型，据称这消除了对高计算成本浮点运算的需求。帖子作者对这种方法表示怀疑，认为它看起来简单得令人难以置信。

  • BitNet-1.58b 的性能和针对三元值的专用硬件是 Deepsilicon 的主要动力。挑战包括扩展到更大的模型、边缘设备的经济性，以及基座模型公司是否愿意进行 1.58 bits 的训练。
  • BitNet 论文表明，从头开始使用 1-bit 量化训练模型可以匹配 fp16 性能，尤其是随着模型尺寸的增加。BitNet 论文 提供了关于权衡的见解。
  • 正如 Hacker News 线程 中所讨论的，人们对 Y Combinator 的资助实践和创始人的方法提出了担忧。然而，一些人看到了针对硬件和机器人应用中便携式 ML 的边缘市场的潜力。

主题 5. 专用 AI 模型与技术的进展

• 专为创意写作打造的新系列模型，超越以往的 RP 模型 (3.8B, 8B, 12B, 70B) - ArliAI-RPMax-v1.1 系列 (评分: 141, 评论: 84): ArliAI-RPMax-v1.1 系列推出了四款新模型，用于创意写作和角色扮演 (RP)，参数规模从 3.8B 到 70B 不等。这些模型旨在创意写作和角色扮演场景中表现出色，与现有的 RP 模型相比提供了更强的能力。该系列旨在为作家和角色扮演者提供强大的工具，用于生成各种规模的富有想象力和吸引力的内容。

• 微软的 Self-play muTuAl Reasoning (rStar) 代码已在 GitHub 上发布！ (评分: 48, 评论: 4): 微软已在 GitHub 上发布了其 Self-play muTuAl Reasoning (rStar) 算法的代码。这一开源实现允许在大语言模型中进行自我博弈相互推理，使它们能够参与更复杂的对话和解决问题的任务。rStar 代码可以在 https://github.com/microsoft/rstar 找到，为研究人员和开发人员提供了访问这种先进 AI 技术的途径。

• Mini-Omni：语言模型可以在流式思考的同时进行听与说 (微调自 Qwen2-0.5B) (评分: 49, 评论: 7): Mini-Omni 是一款开源的多模态大语言模型，展示了在实时对话中处理语音输入并生成流式音频输出的能力。该模型基于微调的 Qwen2-0.5B，展示了在同步处理语言的同时进行听和说的端到端能力。

  • 链接了 6 天前 关于 Mini-Omni 的先前讨论线程，表明人们对该开源多模态模型的持续关注。
  • 用户表达了对展示该模型语音对语音能力的演示视频的渴望，强调了演示对于新 AI 模型吸引关注和验证所声称功能的重要性。

其他 AI Subreddit 回顾

r/machinelearning, r/openai, r/stablediffusion, r/ArtificialInteligence, /r/LLMDevs, /r/Singularity

AI 模型发布与改进

• OpenAI 正准备发布其新模型：r/singularity 上的一篇幽默帖子展示了一段卡车几乎相撞的视频，隐喻了 OpenAI 的模型发布过程。该帖子 获得了超过 1000 个点赞和 110 条评论，引发了广泛关注。

• Flux AI 模型进展：多篇帖子讨论了 Flux AI 模型：
  • 一篇 比较 ComfyUI 和 Forge 运行 Flux 效果的帖子，突显了社区中关于不同界面的持续争论。
  • 另一篇 帖子展示了使用 Flux LoRA 生成的 20 张图像，该 LoRA 是在有限的数据集上训练的，展示了该模型即使在次优训练数据下的强大能力。
• 新的 Sora 视频发布：r/singularity 上的一篇帖子 链接了一段新视频，展示了 OpenAI 的 Sora 文本转视频模型的能力。

AI 工具与界面

• 关于 AI 界面的辩论：Stable Diffusion 社区正在讨论运行 AI 模型时不同界面的优劣，特别是 ComfyUI vs. Forge。关键点包括：
  • ComfyUI 提供更多的灵活性和控制力，但学习曲线较陡。
  • Forge 提供更用户友好的界面，并包含一些易用性改进。
  • 一些用户主张根据任务不同使用多个界面。
• VRAM 需求：多条评论讨论了运行 Flux 等新型 AI 模型所需的 高 VRAM 需求，用户们在争论如何在低端硬件上优化性能的策略。

AI 伦理与社会影响

• Sam Altman 的照片：r/singularity 上一篇 包含 Sam Altman 照片的帖子 引发了讨论，可能与其在 AI 发展中的角色及其社会影响有关。

幽默与迷因 (Memes)

• “最有趣的一年”迷因：r/singularity 上的一篇幽默帖子 问道：“人类历史上最有趣的一年对你来说过得怎么样？”，反映了 AI 进步的飞速步伐。

• AI 模型发布迷因：关于 OpenAI 模型发布的置顶帖子利用幽默评论了围绕重大 AI 发布活动的期待和潜在问题。

AI Discord 回顾

由 Claude 3.5 Sonnet 生成的摘要之摘要之摘要

1. AI 模型发布与基准测试

• DeepSeek 2.5 以强劲规格亮相：DeepSeek 2.5 将 DeepSeek 2 Chat 和 Coder 2 合并为一个强大的 238B MoE，具有 128k context length 以及 function calling 等功能。
  • 此次发布将改变编程和聊天体验，在通用性和能力方面为未来的模型树立了更高的标准。
• Deception 70B 占据开源模型榜首：Deception 70B 模型被宣布为全球顶尖的开源模型，利用独特的 Deception-Tuning 方法来增强 LLM 的自我修正能力。
  • 该模型可在 此处 获取，引发了关于其潜在应用以及 AI 社区对其声明有效性的讨论。
• OpenAI 的 Strawberry 模型发布在即：根据 推文 中分享的内部消息，OpenAI 准备在未来两周内发布其新模型 Strawberry，并将其作为 ChatGPT 的一部分。
  • 初步印象暗示了潜在的局限性，有报告称其响应时间为 10-20 秒，并对其记忆整合能力表示担忧。

2. LLM 微调与优化技术

• Mixed Precision Training 提升性能：开发者报告了在使用 cpuoffloadingOptimizer 实现 mixed precision training 方面的成功，并指出在 tokens per second (TPS) 处理速度上有所提升。
  • 计划进行进一步测试以探索与 FSDP+Compile+AC 的集成，突显了在优化模型训练效率方面的持续努力。
• Hugging Face 通过 Packing 增强训练：Hugging Face 宣布，使用打包的指令微调示例（packed instruction tuning examples）进行训练现在已兼容 Flash Attention 2，吞吐量可能提升高达 2x。
  • 这一进展旨在简化 AI 模型的训练流程，更高效地利用计算资源。
• MIPRO 简化 Prompt 优化：DSPy 团队推出了 MIPRO，这是一款新工具，旨在优化问答系统数据集中使用的 Prompt 指令及示例。
  • MIPRO 的 Prompt 优化方法突显了业界日益关注通过精细化输入技术来提升模型性能。

3. Open Source AI Developments and Collaborations

• GitHub 举办开源 AI 研讨会：GitHub 将于 9月19日 组织一场关于 Open Source AI 的专题研讨会，邀请了来自 Ollama、Nous Research、Black Forest Labs 和 Unsloth AI 的演讲嘉宾。点击此处可免费注册。
  • 该活动旨在讨论开源社区如何促进 AI 技术的获取与民主化，反映了协作努力在 AI 发展中日益增长的重要性。
• LlamaIndex 探索 Agentic RAG 策略：@seldo 最近的一次演讲探讨了 2024 年使用 LlamaIndex 的 Agentic RAG 策略，讨论了其重要性及局限性。
  • 讨论强调了增强 RAG 能力的策略，展示了开源社区中检索增强生成技术的持续演进。
• Guilherme 发布 Reasoner 数据集：分享了一个名为 Reasoner Dataset 的新数据集，该数据集使用 synthetic data 创建，专为推理任务设计。
  • 这一发布展示了 AI 训练数据开发中的创新方法，有望提升模型在逻辑推理和问题解决方面的能力。

4. Multimodal AI and Tool Integrations

• Expand.ai 发布，变革网页数据获取方式：Tim Suchanek 宣布推出 Expand.ai，这是一款旨在将网站转换为类型安全 API 的工具，属于 Y Combinator 的当前批次项目。
  • 该服务旨在简化网站的数据检索，因其简化网页数据集成的潜力而吸引了技术专家和普通用户的关注。
• Chat AI Lite 提供多功能 AI 应用：Chat AI Lite 作为一款多功能 AI Web 应用推出，涵盖了聊天、本地知识库和图像生成等多个场景。
  • 其全面的功能旨在提升各种 AI 应用的用户体验，展示了针对多样化用例的集成 AI 工具的发展趋势。
• EDA-GPT 自动化数据分析：EDA-GPT 作为一个利用 LLM 进行自动化数据分析的工具被分享，展示了在数据科学任务中的高级集成。
  • 该项目鼓励通过贡献来增强其数据分析能力，突显了 AI 与数据科学工具日益增长的交集。

GPT4O (gpt-4o-2024-05-13)

1. DeepSeek 2.5 发布

• DeepSeek 2.5 合并了 Chat 和 Coder 模型：DeepSeek 2.5 将 DeepSeek 2 Chat 和 Coder 2 整合为一个强大的 238B MoE 模型，具有 128k 上下文长度和 function calling 功能，旨在彻底改变编程和对话体验。
  • 该模型有望为未来的模型设定新标准，在编程和对话场景中均提供强劲性能。
• 关于 DeepSeek 模型端点的困惑：用户对 DeepSeek-Coder 和 DeepSeek Chat 的端点感到困惑，并对 1.75t/s 和 8tps 的低吞吐量等性能问题表示担忧。
  • 模型 ID 将继续免费保留五天，以便用户平稳过渡。

2. 模型微调挑战

• Unsloth 微调问题：用户在使用 Unsloth 时遇到推理问题，导致微调后输出重复，特别是在改写任务中。
  • 讨论建议优化学习率、batch size 和 epoch 数量等超参数以提高性能。
• 训练中的 Loss 尖峰：据报道，在训练 725 步后出现显著的 Loss 尖峰，Loss 达到 20。将 max grad norm 从 1.0 调整为 0.3 有助于稳定 Loss。
  • 这一问题引发了关于影响各种模型训练稳定性的潜在潜在因素的讨论。

3. 硬件与模型性能

• Apple Silicon 的 GPU 规格令人印象深刻：M2 Max MacBook Pro 拥有 96GB RAM 和实际 72GB 显存，能够以 9 tokens/s 的速度运行 70B 模型。
  • 这种集成实现了高效处理，展示了 Apple 在 AI 任务硬件性能方面的竞争优势。
• AMD vs NVIDIA 性能之争：共识认为 AMD 的生产力性能落后于 NVIDIA，特别是在 Blender 等应用中。
  • 由于对性能感到沮丧，用户表示打算在即将推出的 RTX 5000 系列发布后转向 NVIDIA。

4. AI 模型创新

• 超级预测 AI 工具发布：一款全新的 Superforecasting AI 工具已发布，声称能以 超人般的准确度 预测结果，旨在实现预测市场的自动化。
  • 详细的演示和 博客文章 解释了其功能，引发了对其应用的兴趣。
• OpenAI 的 Strawberry 模型即将发布：OpenAI 正准备推出 Strawberry 模型，旨在增强推理和详细任务执行能力。
  • 虽然它承诺会有重大进步，但对其初始响应时间和内存处理能力的担忧依然存在。

5. 开源 AI 发展

• GitHub 开源 AI 研讨小组宣布成立：GitHub 将于 9/19 举办一场关于 开源 AI 的研讨会，小组成员来自 Ollama、Nous Research、Black Forest Labs 和 Unsloth AI。感兴趣的参与者可以在获得主办方批准后在 此处 注册。
  • 该小组将探讨开源在增加 AI 技术 可访问性 和 民主化 方面的作用。
• Hugging Face 引入 multi-packing 以提高效率：Hugging Face 宣布打包的指令微调示例与 Flash Attention 2 兼容，旨在将吞吐量提高多达 2 倍。
  • 这一补充有可能显著简化 AI 模型训练，社区对其应用充满期待。

PART 1: High level Discord summaries

HuggingFace Discord

• DeepSeek 2.5 发布，规格惊人：DeepSeek 2.5 合并了 DeepSeek 2 Chat 和 Coder 2，成为一个强大的 238B MoE 模型，拥有 128k context length 并支持 function calling 等功能。
  • 它将改变编程和聊天体验，为未来的模型树立了更高的标准。
• Transformers Agents 拥抱多智能体系统：Transformers Agents 现在支持 multi-agent systems，通过专业化分工提升任务性能。
  • 这种方法允许高效协作，从而更好地处理复杂任务。
• 语义数据集搜索回归！：Semantic Dataset Search 已重新上线，提供通过 ID 或语义搜索查找相似数据集的功能。
  • 该工具提高了 Hugging Face 上数据集的可访问性，简化了研发流程。
• 韩语词干提取器与 AI 集成：一位开发者成功创建了韩语词干提取器（lemmatizer），并正在探索利用 AI 方法进一步消除结果歧义。
  • 他们受到鼓励，利用 AI 来区分针对单个单词生成的多个词元选项。
• 支持后量子加密的 OpenSSL 3.3.2：一位成员学会了在设备上构建包含 Post Quantum Cryptography (PQC) 的 OpenSSL 3.3.2。
  • Lazy building FTW 强调了安装过程的简便性。

Unsloth AI (Daniel Han) Discord

• 模型微调遇到障碍：用户在 Unsloth 推理时遇到问题，微调后的模型（尤其是执行改写任务时）会出现重复输出。学习率和 batch size 等因素似乎显著影响了这些性能表现。
  • 讨论建议用户应优化超参数（包括 epoch 计数）以避免这些陷阱。
• MLC 部署兼容性担忧：由于特定的格式要求，MLC 部署面临挑战，这促使人们建议使用全参数微调来解决互操作性问题。量化模型可能会使这些 MLC LLM deployments 变得复杂。
  • 成员们强调需要针对 Unsloth 模型的 MLC 兼容性提供更清晰的指南。
• Unsloth 准备支持全参数微调：目前 Unsloth 专注于 LoRA 和 QLoRA 方法，大家对其即将推出的全参数微调（full-parameter fine-tuning）支持充满期待。随着项目推进，开发者的压力显而易见。
  • 成员们希望这些增强功能能够简化未来的模型部署。
• 训练中出现 Loss 激增：一位成员指出在训练 725 步后 Loss 出现显著激增，高达 20。他们发现将 max grad norm 从 1.0 调整为 0.3 有助于稳定 Loss。
  • 这引发了关于影响各种模型训练指标的潜在底层问题的讨论。
• WizardMath 微调突破：WizardMath 在真实日记账记录上成功完成微调，经过 13,000 多秒的训练后，达到了 0.1368 的低 Loss。未来计划使用 RAG 来增强模型对文档引用的理解。
  • 这种方法可以显著改善簿记和会计方面的实际应用。

LM Studio Discord

• 讨论模型参数限制：一位用户询问了用于训练的最小可能模型参数量，并指出 0.5B 模型 虽然存在但表现不佳。
  • 贡献者强调了对 200k 和 75k 参数模型 的尝试，并强调了数据集大小和结构对性能的影响。
• LM Studio 支持多 GPU 配置：确认 LM Studio 支持多 GPU 设置，前提是 GPU 来自同一制造商，例如使用 两块 3060。
  • 一位成员指出，一致的模型能产生更好的性能，提高生产力，特别是在计算密集型任务中。
• AMD vs NVIDIA：性能之争：共识认为 AMD 在生产力应用中的性能落后于 NVIDIA，特别是对于 Blender 等软件。
  • 个人经验表明，由于对性能感到沮丧，有意在即将推出的 RTX 5000 系列发布时转向 NVIDIA。
• 在有限硬件上驾驭模型性能：讨论显示用户目标是在有限的硬件（特别是 Intel 配置）上运行 LM Studio，并质疑 7B Q4KM 等较大型模型的性能边界。
  • 建议 16GB GPU 在 13B Q6 范围 内运行，以在模型执行期间保持更流畅的操作。
• 自定义模型开发见解：关于创建自定义模型优点的讨论浮出水面，一位用户渴望构建自己独特的堆栈，而不是使用开箱即用的解决方案。
  • 他们分享了使用 Misty 和 Open-webui 的经验，同时承认在建立有效的定制系统方面仍面临挑战。

OpenAI Discord

• Apple Silicon 令人印象深刻的 GPU 规格：讨论者强调了 M2 Max MacBook Pro 的能力，拥有 96GB RAM 和实际可用于运行模型的 72GB 显存。
  • 这种集成允许高效处理，一位用户提到他们可以以 9 tokens/s 的速度运行 70B 模型。
• Gemini 模型的视频分析潜力：关于使用 Gemini 模型 进行视频分析，一位用户询问它是否可以总结对话并分析表情，而不仅仅是转录音频。
  • 其他人建议需要实施自定义数据集的训练以获得准确的结果，并建议利用现有的 AI 框架。
• Llama 3 等免费模型的可用性：用户指出 Llama 3 和 GPT-2 等模型是免费提供的，但需要不错的硬件才能有效托管。
  • 值得注意的是，运行此类本地模型需要良好的 PC 或 GPU，这提高了资源要求。
• GPT 应用中的语音功能反馈：一位成员创建了一个名为 Driver’s Bro 的 GPT，它可以与 Google Maps 交互，并使用“兄弟般”的声音提供导航。
  • 遗憾的是，’shimmer’ 声音表现不佳，导致用户请求高级语音模式以增强交互。
• 训练自定义模型进行股票分析的警告：一位成员强调，除非拥有 全部 历史数据（包括 图像 和 图表），否则使用 OAI 模型 分析股票是无效的。
  • 他们指出，为了性能目的，准确的股票分析需要使用 API，并提到完整的股票历史记录可以以 JSON 格式下载。

OpenRouter (Alex Atallah) Discord

• Hermes 3 转向付费模式：标准版 Hermes 3 405B 将在周末前过渡到付费模式，提示用户切换到免费模型 nousresearch/hermes-3-llama-3.1-405b:free 以维持访问。
  • 用户应立即行动，因为从付费模式迁出可能会导致服务中断。
• Eggu 数据集旨在增强多语言能力：正在开发中的 Eggu 数据集目标是训练一个 1.5GB 的开源多语言模型，并集成了图像定位功能，以更好地兼容 Vision 模型。
  • 尽管该数据集旨在提供广泛的可用性，但人们对其可能被滥用的情况表示担忧。
• DeepSeek 模型引发混淆：关于 DeepSeek-Coder 与 DeepSeek Chat 的 Endpoint 存在混淆，模型 ID 将继续保持免费五天。
  • 性能方面的担忧包括某些变体的低吞吐量，仅为 1.75t/s 和 8tps。
• Google Gemini 应对 Rate Limit 问题：用户在使用 Google Gemini Flash 1.5 时反复遇到 Rate Limit 问题，尽管有用户限制但仍频繁触发上限，这引发了与 NVIDIA Enterprise Support 的沟通。
  • 许多人正在使用 experimental API，这在访问模型时带来了额外的挑战。
• Sonnet 3.5 Beta 经历宕机：官方承认了近期影响 Sonnet 3.5 Beta 的停机事件，用户最初报告 API 交互成功率较低，目前根据 Anthropic 的状态更新已恢复。
  • 尽管访问已恢复，但许多用户仍对该模型未来的整体稳定性持怀疑态度。

CUDA MODE Discord

• Opus API 集成引发讨论：讨论强调了使用 Opus API 调用来获取“正确”版本的方法，暗示了集成技术的转变。
  • 成员们注意到相关推文揭示了该话题在工程社区中日益增长的相关性。
• 模型上传的挑战：参与者指出 model uploading（模型上传）比预期的更复杂，提高了对实际障碍的认识。
  • 这反映了关于用户在有效部署模型方面面临挑战的更广泛叙述。
• Batch Size 与性能提升：讨论显示，较小的矩阵/Batch Size 产生更好的性能，相比大尺寸的 1.8x 提升，小尺寸实现了 3x 的加速，但优化可能需要重写 Kernel。
  • 成员们指出了 int16 和 int8 打包可能带来的损失，并对 Quantization（量化）误差提出了警告。
• Triton 原子操作限制：目前 tl.atomic_add 仅支持 1D Tensor，这引发了关于 2D 实现变通方案的疑问。
  • 社区正在寻求管理多维数据操作的高效替代方案。
• 关于 PyTorch Autotuning 的见解：讨论集中在带有 Autotuning 的 PyTorch inductor/dynamo 是否可以通过缓存调优参数来增强 Triton Kernel 的性能。
  • 一位成员指出，利用相同的 Kernel 配置有可能加速后续运行。

Cohere Discord

• Cohere 可接受使用政策澄清：一位成员分享了 Cohere 的可接受使用政策，详细列出了禁止行为，如暴力和骚扰。
  • 对话强调了商业用途的影响，强调模型衍生品必须遵守当地法律。
• 模型微调见解：针对 CMD-R 模型的 Fine-tuning 政策提出了疑问，特别是其免费使用方面。
  • 澄清表明，Self-hosted（自托管）模型带有禁止商业用途的限制。
• Temperature 设置影响输出质量：成员建议尝试将 Temperature 设置为 0 或 0.1，以衡量输出质量的变化。
  • 讨论集中在确保输出不会与初始示例发生剧烈偏离。
• 创新的高级计算机视觉创意：对 Computer Vision 高级项目创意的需求引发了探索其与 LLM 项目交叉点的建议。
  • 团队合作被视为克服项目成功挑战的关键，成员们正在集思广益协作策略。
• 在项目中使用 Google Vision API：一个有趣的 Pokedex 项目利用 Google Vision API 和 Cohere LLM，旨在从图像中识别 Pokemon 的名称和描述。
  • 澄清指出，该 API 用于创建图像标签，而非学习 Embedding，并建议使用 Kaggle 获取数据集。

OpenInterpreter Discord

• 探索 Windows 使用情况：一位成员询问了如何在 Windows 上使用该项目，反映了对该平台跨操作系统兼容性的普遍兴趣。
  • 这个问题表明用户非常渴望通过各种平台集成来实现更广泛的访问。
• 桌面版 Beta 测试访问咨询：围绕加入 desktop beta 计划是否为时已晚展开了讨论，突显了用户对新功能的渴望。
  • 成员们表现出参与 Open Interpreter 套件最新进展的愿望。
• 01 App 移动端发布：01 App 现已在 Android 和 iOS 上线，并计划根据用户反馈进行功能增强。
  • 敦促社区在 GitHub 上 fork 该应用以定制体验，展示了开源精神。
• Tool Use 第 4 集发布：题为 ‘Activity Tracker and Calendar Automator - Ep 4 - Tool Use’ 的最新一集已在 YouTube 上线，讨论了 时间管理。
  • 演讲者强调 时间是我们最宝贵的资源，激励观众有效地利用工具。
• 支持开源开发：社区对源自 01 平台的开源项目的支持非常活跃，为新计划提供了充足的机会。
  • 成员们表达了贡献的热情，加强了围绕 AI 工具的协作环境。

Modular (Mojo 🔥) Discord

• Modular 尚无 Windows 时间表：目前没有 Windows 原生版本 的时间表，因为 Modular 优先支持 Ubuntu 和 Linux 发行版。
  • Modular 旨在在扩大关注范围之前避免技术债并提高产品质量， 吸取了以往 Swift 的经验教训。
• WSL 作为当前的 Windows 支持方案：虽然目前没有原生的 .exe 版本，但 Modular 建议使用 WSL 作为其当前 Windows 支持 的范围。
  • 用户对未来的原生选项表现出兴趣，但也承认现有的局限性。
• Mojo 瞄准 GPU 和 GStreamer 替代方案：Mojo 被定位为 GStreamer 的潜在替代品，利用即将推出的 GPU 功能进行高效处理。
  • 成员们热衷于集成现代库进行直播，展示了 Mojo 在简化操作方面的潜力。
• 探索使用 DLHandle 创建绑定：成员们讨论了使用 DLHandle 创建 Mojo 绑定，并参考了展示其应用的项目。
  • 像 ‘dustbin’ 这样的项目利用 DLHandle 进行 SDL 绑定，为图形应用领域的开发者提供了灵感。
• 理解 Mojo 中的 Variant 类型：强调了 Mojo 中 Variant 类型 在创建具有不同元素类型的列表时的实用性，以及内存方面的考虑。
  • 成员们澄清了与这些实现中的大小对齐和判别式（discriminants）行为相关的问题。

Nous Research AI Discord

• DisTro 引发困惑：围绕 DisTro 的讨论引发了对其目的和有效性的质疑，因为目前尚未发布任何代码，这可能是为了促发竞争。
  • 成员们推测其预期影响，质疑该公告是否过早。
• AI 训练担忧加剧：人们对基于用户满意度指标训练的 AI 模型产生了担忧，这些模型往往产生浅薄的信息而非准确的内容。
  • 有人担心这种趋势可能会损害 AI 响应的质量，尤其是在过度依赖人类反馈时。
• OCTAV 成功发布：一位成员分享了他们使用 Sonnet 实现 NVIDIA 的 OCTAV 算法的成功经验，并指出网上类似案例很少。
  • 他们推测该实现可能是从相关论文中推导出来的，展示了该模型的能力。
• 重复的响应困扰工程师：聊天集中在 AI 倾向于生成重复输出的问题上，尤其是当用户表现出轻微犹豫时。
  • 讨论演变为像 Claude 这样的模型如何难以保持自信，往往过快地撤回解决方案。
• AI 模型表现参差不齐：成员们评估了 Claude 和 Opus 等平台的表现，强调了它们各自的优缺点。
  • 虽然 Claude 具有扎实的一致性策略，但与更具吸引力的 Opus 相比，它在某些情况下表现不佳。

Torchtune Discord

• Mistral 和 Gemma 缺少 Tokenizer eos 选项：一位用户提议发送一个 PR 来修复 tokenizer 的 eos 问题，指出目前的 Mistral 和 Gemma tokenizer 缺少 add_eos 选项。他们引用了一个需要更新的实用程序。
  • 另一位成员强调，必须先实现 add_eos 功能才能解决此问题。
• Eleuther_Eval recipe 默认使用 GPT-2 模型：一位成员询问为什么 Eleuther_Eval recipe 总是加载 GPT-2 模型，得到的解释是自 lm_eval==0.4.3 以来这是默认设置。他们指出，可以使用 TransformerDecoder 工具覆盖模型，以便对其他模型进行评估。
  • 这凸显了在选择评估模型类型时需要灵活性。
• 混合精度训练（Mixed Precision Training）取得显著成效：一位成员分享了他们使用 cpuoffloadingOptimizer 实现混合精度训练的兴奋之情，并注意到 TPS 有所提升。他们对如何将其与 FSDP+Compile+AC 集成表示不确定，建议需要进一步测试。
  • 这预示着大规模模型训练的潜在优化方向。
• Compile 速度优于 Liger：基准测试表明，使用 compile(linear+CE) 在速度和内存方面都比 Liger 更快。尽管 chunkedCE 在独立编译时表现出更高的内存节省，但整体速度较慢。
  • 这一对比强调了模型编译中速度与资源利用率之间的权衡。
• 动态 seq_len 带来优化挑战：torchtune 中关于动态 seq_len 的担忧浮出水面，特别是由于重新自动调优（re-autotuning）对 INT8 matmul triton kernel 产生的影响。成员们讨论了将输入填充（padding）到 128 的倍数，尽管这会增加额外的填充成本。
  • 在管理填充开销的同时优化速度仍然是一个受关注的话题。

Perplexity AI Discord

• Jim Harbaugh 为 Perplexity 代言：主教练 Jim Harbaugh 在最近的一份公告中表示，如果没有 Perplexity，一份伟大的战术册就不完整，并邀请球迷就此事向他提问。
  • 此次代言旨在将 Perplexity 整合到教练策略中，突显了其在体育分析中的相关性。
• Reflection LLM 更新咨询：一位成员询问 Reflection LLM 是否很快会添加到 Perplexity，表达了对功能更新的兴趣。
  • 然而，讨论中并未出现明确的答案，让社区对未来的增强功能保持好奇。
• Perplexity Pro 奖励问题：一位用户对与 Xfinity 合作的 Perplexity Pro 奖励活动表示沮丧，称其促销代码无效。
  • 社区讨论了潜在的解决方案，包括创建一个新账户以成功应用促销代码。
• Claude 3.5 的性能困扰：Claude 3.5 用户担心该模型的性能似乎有所下降，暗示尽管最近有了投入，但仍可能存在容量问题。
  • 用户报告称对设置中显示的模型版本感到困惑，表明更新缺乏透明度。
• Nvidia Q2 财报超出基准：据此处报道，得益于显卡的强劲销售和 AI 领域的稳健增长，Nvidia 第二季度收益超出预期。
  • 分析师指出，在对 AI 解决方案需求日益增长的背景下，这一令人印象深刻的业绩巩固了 Nvidia 在科技领域的地位。

Latent Space Discord

• Apple Intelligence 更新即将到来：Apple 计划在两周内发布其 Intelligence capabilities 的更新，重点改进 Siri 和其他 AI 功能。
  • 用户认为这些更新可能会解决长期存在的问题，加剧与 OpenAI 的竞争。
• ColPali 模型取得进展：ColPali 正在接受审查，展示其在各种 AI tasks 中的实现和功效的新幻灯片已发布。
  • ColPali 与先进训练技术的结合可能会改变当前的 AI 研究范式。
• Superforecasting AI 精准发布：一款新的 Superforecasting AI 工具已发布，展示了其以 superhuman accuracy 预测结果的能力。
  • 该工具旨在自动化预测市场，并辅以详细的演示和解释其功能的 blog post。
• OpenAI 的 Strawberry 模型蓄势待发：OpenAI 正准备推出 Strawberry model，旨在增强推理和详细的任务执行。
  • 虽然它承诺了重大进步，但关于初始响应时间和内存处理能力的担忧依然存在。
• Expand.ai 发布，旨在变革网页数据访问：Tim Suchanek 宣布推出 Expand.ai，这是一个将网站转换为类型安全 API 的工具，是 Y Combinator 当前批次的一部分。
  • 该服务旨在简化从网站进行的 data retrieval，吸引了技术专家和普通用户的兴趣。

LlamaIndex Discord

• 2024 年的 Agentic RAG 策略：在最近的一次演讲中，Agentic RAG 被强调为 2024 年的关键关注点，突出了其在 LlamaIndex 中的重要性。关键点包括理解 RAG 的必要性及其局限性，以及增强策略。
  • 听众了解了 RAG 在 LLMs 背景下的实际应用和理论方面。
• 将 LlamaIndex 与 Llama 3 集成：成员们讨论了 LlamaIndex 与 Llama 3 的集成，并提供了运行本地 Ollama 实例的详细设置说明。
  • 分享的见解包括 LlamaIndex 的安装步骤和使用模式，包括 Colab 的命令片段，简化了模型实验。
• 使用 LlamaIndex 轻松处理 DataFrames：一份关于使用 PandasQueryEngine 将自然语言查询转换为用于 Pandas 操作的 Python 代码的指南已经出现，提高了 text-to-SQL 的准确性。
  • 强调了关于任意代码执行的安全担忧，鼓励谨慎使用该工具。
• MLflow 与 LlamaIndex 集成问题已修复：社区讨论了最近已解决的 MLflow 和 LlamaIndex 的问题，预计将在周末发布公告。
  • 一位成员计划在一篇博客文章中记录这一集成经验，旨在帮助其他面临类似挑战的人。
• 探索 LlamaIndex 中的相似度搜索：成员们深入研究了在 LlamaIndex 中使用 similarity_search_with_score 等方法进行相似度搜索，并指出了与 Langchain 的主要区别。
  • 提供了详细的示例，展示了如何根据元数据过滤检索到的文档，从而提高信息检索能力。

Interconnects (Nathan Lambert) Discord

• Deception 70B 声称是顶尖开源模型：一项公告披露了 Deception 70B，声称其为全球顶尖的开源模型，利用独特的 Deception-Tuning 方法来增强 LLM 的自我修正能力。
  • 发布地址见此处，引发了社区对其实际应用的关注。
• OpenAI 的 Strawberry 模型即将发布：内部人士透露 OpenAI 将在两周内发布集成到 ChatGPT 中的新模型 Strawberry，但初步印象显示其性能迟缓，每次响应需 10-20 秒。
  • 批评者对其记忆集成能力持怀疑态度，详见此 推文。
• 对 Otherside AI 诈骗历史的担忧：关于 Otherside AI 的讨论重新审视了其过去的诈骗行为，特别是与剽窃开源成果指控相关的自动运行计算机项目，引发了对其声明合法性的质疑。
  • 有关持续存在的问题可参考此处，突显了社区的怀疑态度。
• AI 预测性能受到批评：Dan Hendrycks 报告称论文 LLMs Are Superhuman Forecasters 的表现令人失望，指出其在新测试集上的表现显著不佳。
  • 展示该 AI 预测模型的 Demo 可在此处访问，重新引发了关于其预测准确性的辩论。
• Gemini 与 Cursor 的集成引发关注：成员们探讨了 Gemini 与 Cursor 集成的可能性，并就功能和新用例提出了疑问。
  • 表达了对 Google 最新进展的好奇，促使更多成员考虑尝试该集成。

Stability.ai (Stable Diffusion) Discord

• 更好的图像生成硬件：一位成员建议使用 Linux 系统配合 24G NVIDIA 显卡进行本地训练，以提升图像生成性能。
  • 他们还强调要检查电源的兼容性，并指出不需要进行升级。
• Deep Dream Machine 的更廉价替代方案：社区讨论了 Deep Dream Machine 的潜在替代品，建议使用 Kling 或 Gen3 进行 AI 视频创作。
  • 一位用户强调了 Kling 的 66% 折扣 促销活动，吸引了进一步的关注。
• 训练 SDXL 模型的技巧：一位成员询问了如何使用 Kohya Trainer 有效训练 SDXL 以增强图像质量的技术。
  • 另一位成员建议细化查询以获得更有帮助的回复，并建议查看相关频道。
• 关于 CLIP 模型选择的澄清：关于在 DualCLIPLoader 节点中选择合适的 CLIP 模型（特别是 clip g 和 clip l 之间）展开了讨论。
  • 社区成员指出 Flux 并非基于 clip g 训练，这导致了一些困惑。
• Discord 机器人提供 AI 服务：一位成员介绍了一个经过认证的 Discord 机器人，可以通过分享的链接提供文本生成图像和聊天辅助功能。
  • 该服务旨在直接在 Discord 内部集成强大的 AI 功能，以方便用户使用。

LAION Discord

• GitHub 宣布开源 AI 专题研讨会：GitHub 将于 9/19 举办一场关于 Open Source AI 的研讨会，小组成员来自 Ollama、Nous Research、Black Forest Labs 和 Unsloth AI。感兴趣的参与者在获得主办方批准后可以在此免费注册。
  • 该研讨会将探讨开源在提高 AI 技术访问权限和民主化方面的作用。
• AI 模型性能引发辩论：最近对一个 AI 模型的测试显示，其表现虽然令人印象深刻，但速度却慢了一个数量级，这引起了对大型模型（特别是具有 500M parameters 的模型）的担忧。
  • 这引发了对仅基于 sklearn 或 xgboost 等库的小模型性能指标的怀疑。
• 隐私机器学习 (Private Machine Learning) 的努力受到关注：关于隐私机器学习的讨论强调了缺乏有效的解决方案，并提到函数加密 (functional encryption) 和零知识证明 (zero knowledge proofs) 是潜在的策略，尽管已知它们速度较慢。
  • 参与者建议使用 Docker 创建安全容器，作为确保模型安全性的一种更可行的方法。
• 多方计算 (Multiparty Computation) 的复杂性讨论：一位用户提到了多方计算策略，以优化云环境中的工作负载，尽管对这类方法的安全性仍存疑虑。
  • 对话指出，在无信任环境 (trustless environments) 中开发安全解决方案需要大量的投资。
• 实现机器学习隐私的挑战：专家断言，在机器学习中实现完全隐私仍然难以捉摸且成本高昂，在与 DARPA 相关的敏感场景中迫切需要有效的隐私解决方案。
  • 巨大的经济激励凸显了社区对解决这一复杂问题的兴趣。

OpenAccess AI Collective (axolotl) Discord

• AI 研究社区面临造假指控：9 月 5 日，OthersideAI 的 CEO Matt Shumer 宣布在训练中型 AI 模型方面取得了所谓的突破，但后来据 Tweet 报道，该消息被证实为虚假。这一事件引发了对 AI 研究诚信 的担忧，并强调了对此类主张保持怀疑的必要性。
  • 讨论集中在 AI 研究问责制的影响上，建议必须持续保持警惕以避免类似情况。
• Guilherme 分享 Reasoner Dataset：一位用户分享了 Reasoner Dataset，称其是使用针对推理任务的合成数据 (synthetic data) 制作的。这种方法反映了开发 AI 训练数据集的创新技术。
  • 社区成员表现出利用该数据集增强模型训练中推理能力的兴趣。
• iChip 技术彻底改变抗生素发现：iChip 技术能够培养以前无法培养的细菌，对抗生素发现产生了重大影响，包括 2015 年的 teixobactin。该技术的潜力在于其在自然环境中培养细菌的能力，极大地增加了药物发现的微生物候选者。
  • 专家讨论了该技术对未来制药创新的影响及其在应对抗生素耐药性方面的作用。
• Hugging Face 引入 Multi-Packing 以提高效率：Hugging Face 宣布打包的指令微调示例与 Flash Attention 2 兼容，旨在将吞吐量提高多达 2 倍。这一补充有可能显著简化 AI 模型训练。
  • 社区期待训练效率的提高，成员们对未来项目中可能的应用感到兴奋。
• OpenAI Fine-Tuning API 新增 Weight 参数：OpenAI 通过引入 weight 参数增强了其微调 API，详见其文档。该参数于 4 月实施，允许对训练数据的影响进行更精细的控制。
  • 用户讨论了这一功能如何影响微调过程中的模型性能，从而增强训练动态。

LangChain AI Discord

• Claude 3.5 的音频功能受到关注：一位成员询问是否可以通过 Langchain 将音频数据传递给 Claude 3.5 LLM 进行转录，并对其功能表示关注。
  • 另一位用户指出，虽然 Claude 3.5 支持图像，但音频功能尚不确定。
• Langchain4j Token 计数挑战：围绕如何使用 langchain4j 对输入和输出进行 Token 计数展开了讨论，表达了对解决方案的需求。
  • 遗憾的是，该讨论未能在 Token 计数技术方面提供具体的指导。
• 建议使用 Whisper 进行音频转录：一位成员建议利用 Whisper 进行音频转录，作为 Claude 3.5 的更快速且更便宜的替代方案。
  • 这一建议指出了与 Claude 相比，Whisper 在转录工作流中潜在的高效率。
• Chat AI Lite：多功能 AI Web 应用：Chat AI Lite 是一个涵盖聊天、知识库和图像生成的 Web 应用，增强了各种 AI 应用的用户体验。
  • 其功能集展示了应对 AI 领域内多种场景的灵活性。
• 使用 EDA-GPT 进行自动化数据分析：EDA-GPT 使用 LLM 提供自动化数据分析，突出了数据科学任务的高级集成。
  • 该项目鼓励通过贡献来提高其数据分析能力。

DSPy Discord

• 情感分类器输出困惑：一位成员询问，如果将描述更改为 ‘Classify to 7 emotions’ 而不是具体细节，是否会改变情感分类器的输出。
  • 关于输出影响尚未提供明确结论。
• 需要 AdalFlow 库的深入见解：关于旨在自动优化 LLM 任务的 AdalFlow 库的讨论再次升温，成员们寻求更深入的见解。
  • 一位成员承诺将审查该库，并保证在周末前分享他们的发现。
• 发现误导性的 Llama AI 模型：一位成员透露，一个所谓的 Llama AI 模型实际上是利用复杂 Prompt 机制的最新的 Claude 模型。
  • 该系统通过问题解决和反思性提问策略来引导模型。
• MIPRO 彻底改变 Prompt 优化：新工具 MIPRO 通过优化数据集的指令和示例来增强 Prompt 优化。
  • 成员们探讨了 MIPRO 如何简化问答系统的 Prompt 优化，并强调了其与数据集的相关性。

LLM Finetuning (Hamel + Dan) Discord

• LLM 可观测性平台推荐：一位成员正在为一个大型内部企业级 RAG 应用探索 LLM 可观测性平台，目前正在考虑 W&B Weave 和 dbx’s MLflow。
  • 他们还对 Braintrust 和 Langsmith 等替代方案表示了兴趣，以增强可观测性。
• Node.js 在使用 Anthropic’s API 时遇到困难：据报道，与 Python 相比，在 Node.js 中使用 Anthropic’s API 性能较差，尤其是在使用 tools 时。
  • 讨论围绕其他人是否也面临类似的性能差异展开，促使人们深入研究潜在的优化方案。

Gorilla LLM (Berkeley Function Calling) Discord

• 合并冲突已解决：一位成员感谢另一位成员的帮助，成功解决了合并冲突，没有出现进一步的问题。
  • 非常感谢快速修复！
• 定位测试分数：一位成员对保存结果后如何检索特定的测试分数表示困惑，引发了关于最佳实践的讨论。
  • 另一位成员建议检查 score 文件夹，特别是 data.csv 文件。

tinygrad (George Hotz) Discord

• George Hotz 对 tinygrad 的热情：讨论以分享对 tinygrad 的热情开始，该项目专注于深度学习框架的简洁性。
  • 聊天中充满了对这种轻量级方法对机器学习项目影响的兴奋。
• 社区参与：一位用户通过发布挥手表情符号表达了热情，表明社区中与 tinygrad 相关的互动非常活跃。
  • 这种参与信号表明了人们对 George Hotz 领导的进展有着浓厚的兴趣。

MLOps @Chipro Discord

• 报名参加 GitHub 的 Open Source AI 专题研讨会！：GitHub 将于 9/19 在其旧金山办公室举办一场免费的 Open Source AI 专题研讨会，重点关注 AI 的 accessibility（可访问性）和 responsibility（责任）。
  • 来自 Ollama、Nous Research、Black Forest Labs 和 Unsloth AI 的嘉宾将讨论 AI 技术的民主化。
• 抓紧时间，活动报名需经审核！：参与者需要尽早注册，因为活动报名需经主办方批准，以确保能在这个备受关注的研讨会中获得名额。
  • 与会者将深入了解开源社区如何推动 AI 领域的创新。

Alignment Lab AI Discord 暂无新消息。如果该服务器长时间没有动态，请告知我们，我们将将其移除。

Mozilla AI Discord 暂无新消息。如果该服务器长时间没有动态，请告知我们，我们将将其移除。

DiscoResearch Discord 暂无新消息。如果该服务器长时间没有动态，请告知我们，我们将将其移除。

AI21 Labs (Jamba) Discord 暂无新消息。如果该服务器长时间没有动态，请告知我们，我们将将其移除。

第二部分：按频道划分的详细摘要和链接

完整的频道详细分类已针对电子邮件进行了缩减。

如果您想查看完整分类，请访问此邮件的网页版：！

如果您喜欢 AInews，请分享给朋友！预谢！