ainews-everybody-shipped-small-things-this

这个假期周末，大家都在发布一些小东西。

· a00a923a-5c1d-4a39-af65-baa5017358b8

以下是为您翻译的中文内容：

xAI 宣布推出 Colossus 10万卡 H100 集群，该集群能够在 4 天内训练出一个 FP8 精度的 GPT-4 级别模型。Google 为 Gemini 引入了结构化输出功能。Anthropic 讨论了 Claude 的性能问题，认为这可能与 API 提示词的修改有关。OpenAI 增强了其 Assistants API 中文件搜索（File Search）的控制功能。Cognition 和 Anthropic 的负责人现身播客节目。走红的 快手-Kolors (Kwai-Kolors) 虚拟试穿模型以及开源实时语音对话模型 Mini-Omni（类似于 gpt-4o-voice）正式发布。

此外，文中还重点介绍了关于使用 LoRA 和 QLoRA 进行参数高效微调、长文本嵌入挑战以及 Claude 的 LaTeX 渲染功能的教程。AI21 Labs 发布了 Jamba 1.5 模型，具备 256K 上下文窗口，并提升了长文本处理速度。NVIDIA 的 Mistral-Nemo-Minitron-8B 在开源大模型排行榜（Open LLM Leaderboard）上首次亮相。LangChain 推出了用于工作区组织的资源标签，svpino 分享了一个低代码 AI 应用工具包。法律 AI 智能体以及使用 LangSmith 进行的金融智能体评估也备受关注。

#fine-tuning #long-context #parameter-efficient-fine-tuning #latex-rendering #real-time-audio #virtual-try-on #resource-tags #low-code #ai-agents #workspace-organization #model-benchmarking gpt-4o-voice gemini claude jamba-1.5 mistral-nemo-minitron-8b xai google anthropic openai cognition ai21-labs nvidia langchain

smol updates 是你唯一需要的。

2024年9月2日至9月3日的 AI 新闻。我们为你检查了 7 个 subreddits、384 个 Twitter 和 30 个 Discord（214 个频道和 2424 条消息）。预计节省阅读时间（以 200wpm 计算）：281 分钟。你现在可以标记 @smol_ai 进行 AINews 讨论！

让我们来看看：

既然今天是平静的一天，你可以思考一下来自你友好的邻居 AI Engineering 播客关于智能商品化（commoditization of intelligence）的更广泛趋势。

目录和频道摘要已移至此电子邮件的网页版：！

AI Twitter 摘要

所有摘要均由 Claude 3.5 Sonnet 完成，取 4 次运行中的最佳结果。

AI 生产力提升与微调

  • 参数高效微调：@fchollet 分享了一个关于使用 LoRA 和 QLoRA 对 LLM 进行参数高效微调的教程，重点介绍了如何通过简单的脚本启用 QLoRA。“gemma_lm.quantize(‘int8’)”
  • 长上下文 Embedding 挑战：@JinaAI_ 讨论了 RAG 系统中朴素分块嵌入流水线（chunking-embedding pipelines）的“丢失上下文问题” (Lost Context Problem)，并引入了 “Late Chunking” 方法。
  • Claude 增强功能：@AnthropicAI 宣布在 Claude 的功能预览中添加了 LaTeX 渲染，以改善数学方程式的显示效果。

高性能模型发布

  • Jamba 1.5 模型：@AI21Labs 发布了 Jamba 1.5 Mini 和 Large，具有 256K 上下文窗口、2.5 倍更快的长上下文性能以及 JSON 输出等工具。@Yampeleg 指出：“这是第一个能够与顶级模型竞争的 Mamba 混合模型”。
  • Mistral-NeMo-Minitron-8B：@NVIDIA 作为首个登上 Open LLM Leaderboard 的 Nvidia 模型亮相，在各项基准测试中表现显著优于其他模型。

增强型协作工具与框架

  • LangSmith 工作空间组织：@LangChainAI 引入了资源标签 (resource tags)，以高效管理项目、数据集和 Prompt。“使用资源标签在 LangSmith 中组织你的工作空间。”
  • AI 应用低代码工具包：@svpino 提供了一个开源、自托管的 AI 入门套件，包括用于工作流自动化的 n8n、用于本地模型托管的 Ollama 以及用于向量存储的 Qdrant。“引导一个全功能的低代码开发环境来构建 AI 应用程序。”

AI 在法律与金融领域的应用

  • AI 法律 Agent：@SpellbookLegal 推出了 Spellbook Associate，这是一个 AI Agent，可以将法律项目分解为计划、执行任务并审查工作。“律师的电动自行车。”
  • LangSmith 评估：@virattt 为一个沃伦·巴菲特金融 Agent 添加了评估功能，使用 LangSmith 高效地设置和可视化评估。

性能优化与现实应用

  • Phi-3.5 Vision：@Microsoft 推出了 Phi-3.5 视觉模型，超越了现有基准。“4.2B 模型，128k Token 上下文长度”
  • Neuralink 游戏：@rohanpaul_ai 分享了 Neuralink 测试的进展，参与者可以用大脑控制游戏元素，暗示了在游戏和其他领域的近期应用前景。“思想将是唯一的限制。”

迷因/幽默

  • @swyx: “转发 @latentspacepod: 微调 GPT-4o 值得吗？”
  • [@rez0](https://twitter.com/rez0/status/1826671312330523118): “好吧，我放弃了。我现在相信了。这就像是‘我妻子的丑闻教会了我关于 B2B 销售的道理’那种 LinkedIn 恶搞帖，但它是真的。”
  • @goodside: “那是个旅游的好地方，但你不会想住在那里。”

AI Reddit 摘要

/r/LocalLlama 回顾

主题 1. Star Command R 32B v1：TheDrummer 发布的新作

  • Drummer 的 Coo- … 咳咳 Star Command R 32B v1！来自 Theia 和 Rocinante 的创作者！ (得分: 47, 评论: 14): Star Command R 32B v1 已发布，这是一款由 TheDrummer（Theia 和 Rocinante 的开发者）创建的新 AI 模型。该模型被描述为拥有 320 亿参数 的 AI，定位为该领域其他大语言模型的竞争对手，尽管发布公告中未提供具体的性能指标或对比。
    • 用户们调侃 TheDrummer 这次相对温和的模型命名，有人将其比作“色情明星转型主流，或者摔跤手步入政坛”。开发者以一个幽默的 GIF 进行了回应。
    • 该模型的 GGUF 版本 已在 Hugging Face 上线。一些用户对未来可能的模型表示期待，包括假想中的 104B Command-R-Sutra。
    • 讨论涉及了该模型生成显式内容的潜力，用户根据 TheDrummer 以往创建此类功能模型的声誉，对其能力进行了推测。

主题 2. 使用 Ollama 的社区驱动免费 AI 服务器

  • 我制作了自己的本地 AI，你可以免费使用， (得分: 37, 评论: 52): 该用户使用 Ollama 创建了一个本地 AI 服务器，其特点是包含用于获取当前信息的 Llama 3.1、用于无限制 AI 体验的 Llama 3 (dolphin) 以及用于图像识别的 LLava。该服务器在 evaai.ngrok.app 免费向公众开放，创作者正在寻求关于微调、提高可访问性以及通过捐赠维持服务器运行方面的帮助。
    • 创作者表示有兴趣为服务器添加工具，如图像生成，可能会使用 Stable Diffusion。用户可以在 open-webui 的 Workspace 面板中找到工具和函数。
    • 有人建议加入 The Horde，这是一个为没有 GPU 的用户提供 LLM/SD 使用的众包计算网络。创作者表现出兴趣，但也表达了对资源管理和限制的担忧。
    • 关于隐私，该服务器不验证电子邮件，允许使用虚假邮箱注册，并提供删除聊天记录和用户数据的选项。系统运行在 3070 GPU 上，速度达到 75 tokens/秒。

主题 3. 比较用于 OCR 和复杂布局理解的小型视觉 LLM

  • 用于 OCR 的最佳小型视觉 LLM？ (得分: 31, 评论: 17): 该帖子讨论了小型视觉语言模型 (LLM) 在光学字符识别 (OCR) 方面的表现，特别是针对简历和发票等复杂文档结构。作者发现 InternVL 1.5 非常有效且速度相对较快，而 Phi Vision 功能更强大但速度较慢，并提到在简单情况下使用 PaddleOCR。他们还指出 Florence-2 擅长目标检测和图像描述，并提供了一个 开源 VLM 排行榜链接 作为参考。
    • 对于纯 OCR 任务，推荐使用 Surya OCR，用户报告其在手写文本识别方面优于 PaddleOCR。Surya GitHub 仓库 可供部署使用。
    • Qwen2-vl（尤其是 7B 模型）的 OCR 能力受到称赞，在某些测试中甚至优于 internvl2-8b 等更大的模型。用户指出，虽然 OCR 模型提取文本速度更快，但 VLM 可以更有效地提取结构化数据。
    • 微软的 Kosmos-1.5 因其 OCR 能力和以 Markdown 格式输出的能力而受到关注。然而，一些用户更倾向于使用 Marker（由 VikPachuri 开发的另一个开源工具）来进行 Markdown 输出和整体 OCR 性能处理。

AI Reddit 内容汇总

r/machinelearning, r/openai, r/stablediffusion, r/ArtificialInteligence, /r/LLMDevs, /r/Singularity

AI 模型开发与基础设施

AI 模型发布与改进

AI 研究与应用

  • 合成数据生成：一篇关于扩展合成数据生成的论文利用 LLM 内部的多样化视角，通过从网络数据中策展出的 10 亿个角色（personas）来生成数据。

  • Anthropic 的 AI 群体智能：Anthropic 的 CEO 报告称，大模型现在正在衍生出更小的模型来完成任务并汇报结果，形成了一种减少人类干预需求的群体智能（swarm intelligence）。

AI 行业与社区讨论

迷因与幽默

AI Discord 摘要回顾

由 Claude 3.5 Sonnet 生成的摘要之摘要的摘要

1. LLM 进展与基准测试

  • Mistral-Nemo 价格大洗牌：Mistral-Nemo 的价格下降了 23%，这可能预示着 LLM 供应商竞争格局的变化。
    • 这一显著的价格变动可能表明市场动态正在演变，分析师们正密切观察竞争对手将如何应对 Mistral 激进的价格策略。
  • GPT-4o 表现优于 Turbo 版本：GPT-4o 目前比 GPT-4 Turbo 便宜 50%（每百万输入 token 5 美元，每百万输出 token 15 美元），同时拥有 2 倍的速度和高达每分钟 1000 万 token 的 5 倍速率限制。
    • 凭借 128k 上下文窗口和增强的 vision（视觉）能力，GPT-4o 为寻求语言模型效率和高级功能的用户提供了强有力的选择。

2. 优化 LLM 推理与训练

  • Apple Silicon 的内存带宽难题：虽然 Apple Silicon 拥有令人印象深刻的内存带宽，但与 GPU 相比，其在 CPU 推理方面的效用有限，M1 Max 宣称的 400GB/s 带宽在实际效果上引发了质疑。
    • 讨论表明，尽管理论带宽很高，但 Apple Silicon 上 LLM 推理的实际性能可能差异巨大，这促使人们进一步研究如何针对 AI 工作负载优化这些架构。
  • Triton 加载顺序影响性能：Triton 用户发现改变加载（load）顺序会导致显著的性能差异，在一个案例中，性能从 1.89506 提升到了 2.440731。
    • 这一观察引发了关于编译器处理加载停顿（load stalls）和指令调度方式的疑问，暗示了 LLM 训练和推理流水线中潜在的优化空间。
  • Activation Checkpointing 的成功实践：一名成员成功用极少的代码实现了 activation checkpointing，并展示了在使用 124M BF16 时基于 batch size 的不同内存需求。
    • 该实现显示，在不复用的情况下内存占用为 1211 MiB，而在 100% 重新计算层时仅为 176 MiB，突显了 LLM 训练中巨大的内存优化潜力。

3. 开源 AI 框架与社区努力

  • Mini-Omni 语音模型开源：能够同时生成文本和音频的 Mini-Omni 开源模型已发布，可用于实时语音对话，其 代码库 和研究论文详细介绍了流式音频输出功能。
    • 此次在 Twitter 上的发布引发了关于该模型潜在应用及其对未来 AI 交互影响的讨论，展示了社区对多模态 AI 开源进展的热情。
  • Toolio 0.5.0 增强 LLM 控制：Toolio 0.5.0（被称为“文本的胜利”）为这款专为 Apple Silicon 设计的 Python 工具包引入了改进的文档和更好的 prompt 构建功能，包括符合 JSON schema 的结构化 LLM 响应生成。
    • 此次更新旨在为开发者提供对文本生成的精细控制，将 Toolio 定位为那些不仅需要常规文本生成、尤其是需要 tool-calling 功能的开发者的关键工具。
  • Mojo 标准库开放贡献：Mojo Standard Library（标准库）现已部分开放贡献，尽管某些部分仍与编译器紧密绑定。目前已提供稳定版本，但强大的稳定性保证仍在建立中。
    • 社区成员对贡献机会表示兴奋，同时也指出由于该库的全部潜力和生产就绪性仍在实现中，需要保持谨慎。

4. AI 硬件与基础设施

  • 10 万张 H100 集群分析引发辩论：一项对 100,000 H100 集群 的全面考察讨论了能效、网络拓扑以及 Ethernet 和 InfiniBand 方案之间的权衡，强调了这些集群如何反映出 GPT-4 之后 AI 进展感官上的放缓。
    • 该分析引发了对集群可靠性和故障恢复的担忧，表明尽管维持了与前几代相似的计算指标，但在有效扩展当前模型方面仍面临挑战。
  • H200 与 H100 价格动态：H200 GPU 目前 8 连装版本的价格为 18 万美元，而据报道 H100 价格大幅上涨，这可能与 Tesla 在市场上的活动有关。
    • 这些价格趋势引发了关于大型科技公司的高需求对 AI 硬件生态系统影响的讨论，社区正密切关注持续的需求将如何改变未来的定价和供应策略。

第 1 部分：Discord 高层摘要

Unsloth AI (Daniel Han) Discord

  • Unsloth 微调引发讨论：用户报告了在微调 Gemma 2B 模型时遇到的障碍，特别是在调整训练参数后生成了随机输出。
    • 讨论强调了需要一致的微调模板来优化 token 使用，并警告不要更改模板。
  • Numpy vs. Cupy：Gemma 2 实现：一名成员使用 Numpy 从零开始成功实现了 Gemma 2，随后过渡到了 Cupy。
    • Cupy 版本需要具有 24GB 显存的 GPU 才能进行有效计算，同时还提供了一个适用于低显存 GPU 的 f16 版本。
  • llama.cpp 的 RPC 内存难题：成员们分享了关于 llama.cpp 与 RPC 服务器集成的挫折，其中一人表示它无法在服务器机器上保留内存。
    • 这种挫败感体现了实现复杂的 AI 模型和基础设施要求所带来的挑战。
  • 关于文本转语音（Text-to-Speech）微调的咨询：一位用户寻求使用 Unsloth 微调文本转语音模型的帮助，但得到的澄清是该工具缺乏此功能。
    • 对话中提到了 Whisper 训练指南，该指南需要更大的数据集才能进行有效训练。
  • API 订阅成本受到关注：由于未能充分利用完整的 $20 token 配额，对成本的担忧促使了关于从订阅服务转向仅使用 API 的讨论。
    • 这一趋势反映了用户在更好地管理 AI 相关费用和访问权限方面的广泛举措。

HuggingFace Discord

  • Phi-3.5-mini 在浏览器中表现出色：Phi-3.5-mini (3.8B) 模型使用 WebGPU 在浏览器中以约 90 tokens/second 的速度运行，确保了完全本地化处理以增强隐私。查看演示和源代码。
    • 用户报告称，与基于服务器的模型相比，本地处理输入时的延迟显著降低。
  • 强化学习（Reinforcement Learning）仓库发布：一名成员分享了一个用于实现强化学习算法的 GitHub 仓库，该仓库受 Sutton 和 Barto 的书籍启发，旨在涵盖讨论的各种算法。访问该项目请点击这里。
    • 社区成员对协作贡献以增强算法实现表现出了兴趣。
  • AOE2 的动态游戏状态策略：一名成员提议了一个针对《帝国时代 II》（Age of Empire II）的 CV 项目，旨在通过使用 SAM 和 YOLO 等计算机视觉工具映射游戏资产，创建专注于决策策略的 AI 助手。他们的方法涉及高效检测游戏元素。
    • 讨论还涉及了在游戏过程中进行本地动态更新以获得有意义见解的可行性。
  • 需要训练视觉语言模型（Vision Language Models）：有人对当前 LLM（如 ChatGPT-4）在有效计数和定位图像内物体方面的局限性表示担忧。建议考虑训练视觉语言模型 (VLM)，以利用先进的图像处理技术。
    • 视觉和语言模型不断发展的交集为 AI 开发中的工程师带来了新的挑战和机遇。
  • 用于医疗保险申诉的 AI 工具：推出了一种用于申诉医疗保险拒赔的新工具，利用 OCR 扫描信件并生成 AI 驱动的申诉书，可通过 fighthealthinsurance.com 访问。
    • 重点放在了确保该工具的操作和数据管理符合 HIPAA 法律。

LM Studio Discord

  • LM Studio 模型加载技巧：LM Studio 用户发现保存在不同文件夹中的模型无法直接加载。为了使用模型，需要将它们组织在 LM Studio 内部特定的目录结构中。
    • 可以通过 “My Models” 视图更改模型文件夹，从而简化模型管理流程。
  • LM Studio 中的 GPU 故障排除：有用户报告 LM Studio 无法识别其 GPU，引发了关于故障排除步骤的讨论。建议包括检查 Developer Tab 中的 LM Runtimes 作为诊断措施。
    • 这突显了兼容硬件在确保软件平稳运行中的重要性。
  • 质量测试的 Temperature 设置：用户讨论了 LM Studio 中 temperature settings 在评估模型输出中的关键作用，特别是用于质量评估的低设置。敦促初学者查阅资源以了解温度对 LLMs 的影响。
    • 这强调了通过精细的参数调整来增强模型性能的必要性。
  • Apple Silicon 的内存带宽限制：虽然 Apple Silicon 提供了极高的内存带宽，但与 GPU 相比，其在 CPU 推理方面的效用有限，引发了性能担忧。M1 Max 宣传的 400GB/s 在有效性方面仍受到质疑。
    • 讨论表明，实际性能差异显著，值得进一步调查。
  • OpenWebUI 的 RAM 缓存问题：有报告称 OpenWebUI 由于预加载行为消耗了过多的 RAM，据称在 192GB 中占用了 150GB。用户推测缓存管理方式中可能存在软件 Bug 或配置错误。
    • 这强调了在 Web UI 框架中采用稳健资源管理策略的必要性。

CUDA MODE Discord

  • 应对技术领域职业倦怠的策略：成员们讨论了在要求苛刻的技术环境中管理 burnout 的各种方法，预计稍后会分享更多见解。
    • 保持动力被强调为当前环境下开发者面临的主要障碍。
  • CUDA 职位依然稀缺：有人对 CUDA 职位稀缺 表示担忧，公司通常寻找许多合格候选人所缺乏的经验。
    • 这种准入门槛已成为社区内的一个争议点，影响着新人。
  • Triton 的加载顺序影响性能：更改 Triton 中的加载顺序导致了显著的速度差异，一位用户的速度从 1.89506 提升到了 2.440731。
    • 这引发了关于编译器在处理加载停顿（load stalls）和指令调度方面性能的疑问。
  • FP8 的 CUDA Kernel 需求：为了支持 FP8，Kernel 需要 SM_89 或更高版本，这影响了与 A100 等特定 GPU 的兼容性。
    • 在 4090 上的测试显示，性能比 torch 提高了 1.3 倍，表明了新架构的优势。
  • Activation Checkpointing 的高效使用：使用极少的代码成功实现了 Activation checkpointing，根据处理的 Batch Size 影响内存使用。
    • 配置显示，在不重用的情况下内存需求为 1211 MiB，而在重新计算层时为 176 MiB。

Stability.ai (Stable Diffusion) Discord

  • 注意网络钓鱼！：参与者对一个可疑网站表示担忧，由于其使用了不安全的 HTTP 协议和未加密的数据传输，该网站很可能是一个网络钓鱼中心。
    • 他们敦促用户避免在这些网站上分享个人信息，以降低安全风险。
  • ComfyUI 面临配置困扰：用户详细说明了 ComfyUI 的问题，特别是与缺少配置文件相关的错误以及对模型安装的困惑。
    • 有人建议利用 Save Text File 节点来跟踪 ComfyUI 中的提示词和工作流。
  • 获得更好结果的提示词技巧：对于 Stable Diffusion，由逗号分隔的属性构成的提示词结构可以产生更好的效果，尤其是对于像 SD 1.5 这样的旧模型。
    • 然而，得益于增强的文本编码能力，新模型更适合使用自然语言提示词。
  • 关于 Stable Diffusion 3.1 的推测：参与者推测了 Stable Diffusion 3.1 的发布，并指出目前信息有限，且大多来自非官方渠道。
    • 在社区等待 Stable AI 官方公告之际，他们呼吁大家保持耐心。
  • 对模型训练资源的需求：用户表示需要针对特定角色和艺术风格训练 LoRA 模型的指导，强调了更新资源方面的空白。

Modular (Mojo 🔥) Discord

  • Mojo 标准库开放贡献：Mojo Standard Library 已部分开放贡献，尽管某些部分仍与编译器紧密绑定。尽管已有稳定版本可用，但对其生产就绪性的担忧依然存在，稳健的稳定性保证仍需建立。
    • 成员表示鼓励更新和贡献，但该库的全部潜力仍有待实现。
  • Modular CLI 逐步接近最终版本：Modular CLI 的更新表明它已接近完成，随后将引入 Magic，这将把包管理功能推向前端。目前的开发重点主要是 GPU 支持，标志着纯 CPU 版本的发布即将结束。
    • 开发者们对类似于 Rust 的 Cargo 那样更流畅的包管理体验充满期待，旨在提升可用性。
  • MLIR 指向语言互操作性的进展：关于 MLIR 集成的讨论强调了其桥接不同编程语言间通信的潜力，尽管翻译挑战依然存在。值得注意的是，成员们评论说 MLIR 可能会简化某些方面，但同时也会使其他方面复杂化。
    • 讨论中提出了有关向后兼容性以及适应现有 C 预处理器依赖项的担忧。
  • OSDI ‘21 主题演讲赞扬 MAX：来自 OSDI ‘21 的主题演讲强调，MAX 可以增强 AI 和 HPC 之外的计算能力，并提到其优化硬件交互的潜力。Mojo + MAX 的结合可以促进对各种处理器的更好利用。
    • 预期这种集成将显著提升各种系统的计算能力。
  • 内存域可视化为图节点：讨论建议将内存域（Memory Domains）表示为图节点，以增强理解它们之间延迟和带宽等关系的能力。这种方法可以允许硬件感知编译器（hardware-aware compilers）就数据移动做出明智的决策。
    • 成员们承认现有通道存在摩擦，表示打算开发一个基于 DPDK 的通道，以在管理可变计算时间的同时缓解这些复杂性。

LAION Discord

  • AI 内容质量辩论升级：参与者认为 AI 工具的兴起可能会导致更多低质量、标题党内容，从而可能降低在线信息的整体质量。
    • 然而，一些人断言 AI 生成内容之间的竞争将推动更高的标准，并提高相关性和准确性。
  • AI 辅助求职申请但引发担忧：讨论透露，个人正在使用 AI 为求职申请创建量身定制的简历，然后 AI 工具会对其进行效率评估。
    • 这引发了对潜在的 no human in the loop（无人工参与）场景影响招聘标准的担忧。
  • LAION 数据集恢复访问：LAION 数据集在之前因内容担忧被移除后，现在已可以再次访问，即将进行的更新将使其与 Clip retrieval API 集成。
    • 参与者分享了访问该数据集的资源，以增强 AI 训练。
  • 基于 LLM 的 Agent 发布深度论文：Manifold Research Group 发布了一篇题为 Intelligent Digital Agents in the Era of Large Language Models 的立场论文，强调了基于 LLM 的 AI Agent 的进展。
    • 该论文探讨了突破和局限性，并邀请在其 Discord 上进行进一步讨论。
  • 发布新的 MultiNet 评估指标：Manifold 定义了用于基准测试多个 Vision-Language Models (VLMs) 及应用的新评估指标，可在其 GitHub repository 中获取。
    • 该倡议旨在提供详细的数据集覆盖范围并改进 AI 指标中的质量评估。

Eleuther Discord

  • Manifold Research Group 发布立场论文：Manifold Research Group 分享了他们最近关于基于 LLM 的自主 Agent 的立场论文，展示了自主系统的进展。
    • 他们邀请感兴趣的人士加入其 Discord 社区进行更多讨论。
  • Manifold 的算力可用性挑战：确认了来自 Manifold 的有限算力（compute）选项，这依赖于学术和行业合作伙伴关系，具体细节因项目而异。
    • 有关可用算力资源的查询已转交给 Harsh 或 Sidh 以获得针对性指导。
  • ICLR 会议声望高于 NIPS workshop：讨论强调，在 ICLR 主会上发表论文对简历的影响力显著高于在 NIPS workshop 发表，因为 workshop 的录取率较低。
    • ICLR 作为 tier 1 conference 的认可度得到了强调，为其论文增加了分量。
  • 探索 LLM 与抽象-结晶步骤：有提议建议 LLM 可以通过引入抽象-结晶（abstraction-crystallization）步骤来改进，以评估多个抽象短语，从而增强输出的创造力。
    • 这可能涉及通过向量相似度对短语进行排名，引导输出远离对最高概率（top-probability）的依赖。
  • 关于 Diffusion Models 学习物理规律的讨论：人们对 Diffusion Models 在准确学习物理定律与仅在现有数据集上过拟合（overfitting）之间的有效性表示担忧。
    • 有人指出，强制执行物理结构可能会限制这些模型的表达能力，值得进一步研究。

Perplexity AI Discord

  • 学生可免费获得一个月 Perplexity Pro：学生在 9 月 15 日前使用 .edu 邮箱注册，即可领取 一个月免费的 Perplexity Pro。该服务在为学术研究提供快速、精准的回答方面表现出色。
    • 其功能涵盖了从剖析复杂话题到制定饮食计划等多个方面，是学习者的多功能工具。
  • 达到 500 人注册，全校即可赢取免费访问权限：如果一个校区达到 500 人注册，全校学生都将免费获得 一年的 Perplexity Pro，这激发了竞争精神。
    • 该挑战活动持续至 9 月 15 日，用户可以在此处查看注册进度。
  • Perplexity API 的使用引起了兴趣：一名成员探讨了结合使用 API 与 Make.com 创建 Perplexity 页面的潜力，反映了用户对集成的兴趣。
    • 目前的文档对此缺乏清晰说明，因此有人建议咨询官方 Perplexity 文档以获取进一步指导。
  • Pro API 的文件上传功能：有疑问指出 Pro API 在通过 CLI 界面进行搜索查询时，是否具备接受 .txt 和 .pdf 等文件上传的能力。
    • 用户希望获得类似于 Web 界面的功能，表明了对增强分析能力的渴求。
  • Perplexity Xfinity 优惠引发热议：关于 Perplexity Xfinity 优惠的分享链接暗示了将为用户提供令人兴奋的优惠，可能会提升用户体验。
    • 细节尚不明确，但人们对这一合作伙伴关系可能带来的内容充满期待。

OpenRouter (Alex Atallah) Discord

  • Mistral-Nemo 价格大幅下调：Mistral-Nemo 的价格下降了 23%，反映了市场动态的变化。
    • 这一显著的价格变动可能预示着 Mistral 模型需求或供应的转变，促使分析师关注竞争对手的反应。
  • Mume AI 应用惊艳亮相：使用 OpenRouter 作为供应商推出的 Mume AI 应用，为用户提供了超过 100 个模型用于文本和图像生成。
    • 开发者正积极寻求社区 反馈，以便在该应用进入早期阶段时进行优化，从而促进用户参与。
  • Google 和 Claude 模型的缓存功能：讨论透露，通过 OpenRouter 实现 Google 和 Claude 模型的缓存功能可能即将落地。
    • 用户对缓存路由表示了担忧，特别是考虑到这两个端点并不共享同一个缓存。
  • 关于多轮对话支持的澄清：针对 OpenRouter 中 多轮对话 (multi-turn conversations) 的咨询澄清了用户必须重新发送整个聊天历史记录以保持连续性。
    • 回复指出，由于 LLM 本质上是无状态的 (stateless)，用户需要自行管理这一环节。
  • AI 中保持角色一致性的最佳模型：一位用户寻求关于保持角色一致性的最佳模型建议，并表示对 Midjourney 不太满意。
    • 讨论旨在创建一个可靠的 Instagram AI 影响力者 (influencer)，期间推荐了 Segmind 等替代方案。

Nous Research AI Discord

  • NousCon 活动宣布于 9 月 18 日举行：NousCon 活动定于 9 月 18 日在旧金山举行，紧接在 PyTorch Conference 之后。
    • 鉴于名额有限，鼓励热情的参与者查看官方公告并点击此处的注册链接预订席位。
  • Hermes-3 以闪电般的速度完成训练：Hermes-3 的训练过程现在仅需 4 分钟即可完成，这引发了人们对训练技术效率的关注。
    • 这种极快的训练速度引发了社区成员关于“训练速通（speedrunning training）”的调侃。
  • 质疑 LLM 推理框架：成员们注意到目前缺乏解决 LLM Reasoning and Planning 的显著框架，凸显了有效解决方案的空白。
    • 讨论中包含了对 LLM-Modulo 概念的怀疑，一些成员主张关注 Yann LeCun 建议的实际应用。
  • 介绍 Gemma 2：从 Numpy 到 CuPy 的迁移：一位成员正在尝试使用 Numpy 从头开始实现 Gemma 2，并计划将其迁移到 CuPy 以提升性能。

OpenAI Discord

  • SearchGPT 发布猜测升温：用户猜测 SearchGPT 即将发布，一些用户在加入等候名单后短暂看到了显示“You’re in”的弹窗，尽管访问权限很快就消失了。
    • 另一位用户指出 Perplexity 的表现优于 SearchGPT，特别是由于 Arc 集成了 Perplexity，使其目前成为更受欢迎的选择。
  • AI 探索游戏内容的趣味性：一位成员提出了制作 AI 玩 UNO 视频的想法，引发了关于 AI 在参与性内容创作中潜力的讨论。
    • 这一概念反映了人们对利用 AI 在游戏中实现互动体验日益增长的兴趣。
  • GPT-4o 提供比 Turbo 更具吸引力的特性：GPT-4o 被宣传为比 GPT-4 Turbo 便宜 50%，成本为 每百万输入 token 5 美元，每百万输出 token 15 美元，同时拥有 2 倍的速度和高达 每分钟 1000 万 token 的 5 倍速率限制。
    • 凭借 128k 上下文窗口和增强的视觉能力，GPT-4o 将自己定位为寻求效率的用户的强力竞争者。
  • 社区对 ChatGPT 政策感到沮丧：用户对 ChatGPT 处理敏感话题的方式表示担忧，注意到响应模式的变化和消息删除的增加，这可能会阻碍用户使用。
    • 用户呼吁 AI 开发者提高透明度和响应速度，以解决这些持续存在的问题。
  • 通过清晰度提升 AI 写作：成员们强调需要更清晰的指令来减少 AI 回复中不需要的短语，主张转向提供所需语言的正向示例。
    • 通过强调模型“应该做什么”而不是“避免做什么”，参与者注意到这可以产生更符合行为技术预期的有效结果。

LlamaIndex Discord

  • 自动文档检索提升效率：最近的一个 notebook 展示了将 RAG (Retrieval-Augmented Generation) 与结构化查询相结合，增强了针对大型数据集的文档检索能力，详见相关帖子。
    • 如何检索正确的文档？ 该方法有效地解决了这一挑战。
  • LLM 轻松制作 PowerPoint 幻灯片：一个创新的 TypeScript 应用可以将笔记转换为 PowerPoint 幻灯片，让用户摆脱繁琐的任务，专注于创意，该演示链接展示了其功能。
    • 该应用不仅能总结笔记，还能生成额外内容，展示了 LLM 的强大能力。
  • 关于 Jina AI Late Embeddings 类的提案：一名成员提议利用新的“late embeddings”方法为 Jina 开发一个 embeddings 类，参考见 HF 代码。
    • 另一名成员建议，通过使用 BaseNodeParser 类，大部分代码可能适用于 node parser 软件包。
  • Gemini LLM 在初始化时遇到困难：一位用户在重启内核后遇到了 Gemini LLM 的 AttributeError，并指出在更改之前它是可以正常工作的。
    • 建议更新依赖项，以解决由于最近 pydantic 升级引起的问题。
  • 聊天引擎消息过滤咨询：一名成员寻求一种从 LLM 查询的消息历史记录中过滤答案的方法，旨在仅将问题发送给聊天引擎。
    • 另一名成员提出，通过子类化 memory 并重写 get() 方法可能是一个潜在的解决方案。

OpenAccess AI Collective (axolotl) Discord

  • H200 价格维持在 18 万美元的高位：目前，H200 的 8 卡规格价格为 18 万美元，这引发了关于高需求影响市场定价的讨论。
    • 成员们正在关注这一价格如何影响 AI 硬件生态系统的可及性。
  • H100 价格飙升与 Tesla 有关：近期 H100 价格的巨大涨幅被认为与 Tesla 的活动有关。
    • 社区很好奇此类行业的持续需求将如何改变未来的定价策略。
  • 聊天模板 PR 助力设置：聊天模板 PR 被强调为自动加载 tokenizer 模板的关键，显著简化了设置过程。
    • 这一进展预计将为使用 AI 聊天界面的新用户简化入门流程。
  • SFTT 中的交叉熵损失说明：一位用户询问 SFTT 是否计算 cross entropy loss（交叉熵损失），另一位用户引导其查看 GitHub 上 LLaMA 的建模代码进行确认。
    • 这突显了清晰列出代码库引用对于理解损失计算的重要性。
  • 探索用于微调的多人对话：一位成员讨论了在没有 Agent 的情况下，利用多人对话对模型进行微调，重点在于如何格式化此类数据。
    • 讨论涉及了通过聊天历史提示词训练模型，以使其更好地掌握对话流。

Cohere Discord

  • Playground 中的新工具引发关注：成员们确认 Playground 中的新模型现已启用工具 (tools)，促进了探索和创意。
    • 在此公告发布后，一位团队成员发出了热情的鼓励：“祝开发愉快！”
  • LLM 是否能辅助报告生成？：有人询问是否可以使用 LLM 根据之前的写作风格和会议记录为内部审计团队生成报告。
    • 成员们受邀分享利用这些模型进行高效报告生成的经验。
  • 模型卡片差异被指出：一名成员指出 model card 错误地将模型大小标注为 35B，而非 32B。
    • 团队承认了这一疏忽，并承诺很快会进行修正。
  • Cohere 支持 Server Side Events！：已确认向聊天 API 发送 Accept: text/event-stream 请求头将允许用户接收 SSE 事件。
    • 文档更新正在进行中，以包含这一此前未公开的功能。
  • 功能请求流程已明确：一名成员询问如何提交关于服务器端事件的功能请求，引发了团队成员之间的对话。
    • 反馈已被采纳，并计划与产品团队进行进一步讨论。

LangChain AI Discord

  • 编排你的 Multi-Agent 对话助手：一位成员寻求建立 Multi-Agent 对话助手的帮助，特别是对 Supervisor 架构及其固有的复杂性感兴趣。
    • 讨论强调了不同的架构方法，并呼吁分享经验和见解。
  • Hybrid Retriever 是未来：一位用户提出了 Hybrid Retriever 的概念，它结合了两个或多个检索器以增强搜索性能。
    • 这个想法激发了热情，成员们对其潜在应用表示兴奋。
  • 揭秘 Hugging Face Embeddings：一位成员讨论了将 encode_kwargs 传递给 Hugging Face embedding endpoint，并分享了一段代码片段以供参考。
    • 他们确认 TEI 会自动处理 embedding 归一化，简化了他们的实现。
  • Toolio 0.5.0 带来令人兴奋的特性：Toolio 0.5.0 的发布引入了改进的文档，并支持符合 JSON schema 的 LLM 响应生成。
    • 开发者可以通过针对其需求定制的结构化输出，实现对文本生成的更多控制。
  • Generative AI 项目需要你的 Star：一位成员在 GitHub 上分享了他们今年的 Generative AI 项目，鼓励其他人查看他们的作品并为仓库点亮 Star。
    • 对项目参与度的推动强调了社区反馈对于项目曝光和协作的关键作用。

OpenInterpreter Discord

  • Python PATH 引起困惑：一位成员在虚拟环境中使用 pip install open-interpreter 多次安装后，在让其 Open Interpreter 的 Python 脚本识别模块时遇到挑战。
    • 这引发了社区关于环境设置最佳实践的持续讨论。
  • House Party 活动公告：宣布了一场令人兴奋的 House Party 活动，承诺将带来迄今为止最具影响力的重大新闻和演示。
    • 活动将进行直播和录制，但鼓励参加者亲临现场，以免错过体验。
  • 每周 Tool Use 推荐：本周的 Tool Use 节目邀请了一位嘉宾，重点介绍了他们的见解和讨论。你可以点击这里查看该剧集。
    • 感谢社区的支持——经验分享继续活跃着围绕工具使用的讨论。
  • 与嘉宾的愉快交流：成员们表达了在 Tool Use 环节中与新嘉宾交流的喜悦。
    • 一位成员分享了他们在对话中的快乐，为共同学习创造了一个包容的环境。

Torchtune Discord

  • 同行数据影响结果：一位成员确认，当数据源自同一个 sample 时，来自同一行的所有数据点都会影响最终结果。
    • 他们进一步询问了正在分析的特定数据集，强调了明确数据交互的必要性。
  • LoRA Checkpoints 引发疑问：尽管设置了 adapter_weights_only，但在 checkpoint 字典中使用完整的合并 adapter 权重引起了关注。
    • 澄清说明该过程在 Llama 405B PR 中已被完全移除，尽管所有 recipe 的更新仍在进行中。
  • 更多 Adapter 权重支持的空间：有人建议增强在微调配置中支持 adapter_weights_only 的灵活性。
    • 这与旨在提高 AI 模型训练当前用户易用性的普遍共识相一致。
  • Max Sequence Length 解决方案即将到来：围绕新一代更新的兴奋感与日俱增，讨论中涉及了对 max_seq_len 问题的潜在修复。
    • 对解决这些挑战的协作努力充满信心，表明社区正在采取积极主动的方法。
  • Max Sequence Length 重构草案正在评审中：分享了 max_seq_len 实现重构的草案，表明 GitHub 上的开发正在进行中。
    • 该成员承诺在明天的讨论后更新文档，展示了致力于改进的决心。

Gorilla LLM (Berkeley Function Calling) Discord

  • 排行榜中缺失模型的致歉：团队承认在重新生成排行榜结果时疏忽了一个 model，并承诺在下次更新中予以纠正。
    • 这一承诺旨在提高排行榜上模型展示的准确性。
  • 新数据集优先于 Hermes 模型：重心已转移到新的 dataset release，导致新模型请求的处理推迟到本周晚些时候或下周。
    • 鼓励成员在等待更新期间为他们心仪的模型提交 PR。
  • Chat 模式增加了解码的复杂性：模型现在同时在 chat mode 和 FC mode 下运行；后者有助于结构化输出，提高解码效率。
    • chat mode 中的 DEFAULT_SYSTEM_PROMPT 旨在更系统地引导回复。
  • 澄清排行榜数据来源：leaderboard_live.html 使用的是 BFCL V2-Live dataset，而主页面 leaderboard.html 汇总了所有 BFCL V2 datasets（包括 Live 和非 Live）。
    • 理解这一区别对于准确解读排行榜结果至关重要。
  • 在 GitHub 上提出关于排行榜差异的问题：一名成员报告称在 GitHub 上提交了一个关于排行榜差异的 issue，并提供了 issue 链接。
    • 他们还表示，如果其解决方案能匹配所述问题，愿意提交 PR。

Latent Space Discord

  • Mini-Omni 语音模型开源：Mini-Omni 已发布，这是一个能够同时生成文本和音频的开源模型，适用于实时语音对话。其 代码库 和随附的研究论文详细介绍了该模型令人印象深刻的流式音频输出能力。
    • Twitter 上的讨论强调了该对话模型的潜在应用和令人兴奋的前景，以及它对未来 AI 交互的影响。
  • 对 10万块 H100 集群的深刻分析：对 100,000 H100 clusters 的全面考察涉及了能效、网络拓扑以及 Ethernet 和 InfiniBand 方案之间的权衡。报告指出，尽管维持了相似的计算指标，但这些集群反映出 GPT-4 之后 AI 进展的放缓。
    • 这份详细分析引发了对集群可靠性和故障恢复的担忧，表明在有效扩展当前模型方面存在挑战，如此报告所示。
  • 新版 Latent Space Podcast 启动：Latent Space 宣布了新的播客剧集，重点关注 AI 工程的最新趋势。旨在应对不断变化的格局，并分享该领域领先专家的见解。
    • 听众可以期待深入探讨核心 AI 话题和社区驱动知识分享的启发性讨论。

DSPy Discord

  • 探索 WeaviateRM 集成：一名成员对 WeaviateRM integration 表现出兴趣，并请求创建一个关于 text2vec-ollama 的论坛议题。他们分享了 Weaviate 论坛 的链接以供进一步讨论。
    • 另一名成员确认愿意提供帮助，同意发起论坛议题，并以感谢结束了对话。
  • 探索使用 COPRO 进行长度管理：一名成员询问如何使用 COPRO 或类似模型来有效优化指令长度，并建议调整 max_tokens。
    • 他们提议实施一个指标返回系统，作为管理指令长度的一种方式。
  • Zero-shot 指令优化器技术：讨论围绕采用 zero-shot instruction optimizer 来控制模型中的指令长度展开。
    • 成员们辩论是仅通过限制 max_tokens 来设置长度约束，还是为指令和输入长度创建复杂的指标。

LLM Finetuning (Hamel + Dan) Discord

  • LLM 增强报告生成：一位成员询问如何利用 LLMs 根据以往的写作风格和会议记录生成报告，旨在协助内部审计团队进行报告创作。
    • 此次讨论强调了自动化报告生成在提高效率方面的潜力。
  • 会议记录的多样化定义：围绕“会议记录”一词进行了澄清，建议其可能包括带有与会者姓名的完整转录文本。
    • 这引发了关于什么是完整的会议文档的不同解读的深入对话。
  • 合成会议初具规模：一位用户分享了他们使用 persona-hub 创建合成会议格式并促进模拟对话的工作。
    • 他们注意到这些模拟中的 token 使用量很高，但赞赏它为训练 LLMs 带来的丰富多样性。
  • 会议摘要的文本转语音计划：计划实施 Text-to-Speech，利用 LLMs 进行摘要提取，并从会议摘要中生成音频。
    • 此外，重点在于训练一个 whisper model 用于说话人识别，以增强会议期间的来源归属。

tinygrad (George Hotz) Discord

  • tinygrad 亮点：George Hotz 的项目 tinygrad 展示了一种极简主义的深度学习方法，为大型框架提供了一个有趣的替代方案。
    • 尽管聊天中的细节较少，但围绕 tinygrad 的兴奋情绪表明 AI 工程师对轻量级解决方案的兴趣日益浓厚。
  • 社区参与：该频道进行了简短的互动，th.blitz 热情地向成员打招呼，这突显了社区的活跃参与。
    • 这个简单的问候表明，即使是微小的互动也能在技术讨论中培养归属感。

Alignment Lab AI Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

MLOps @Chipro Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

Mozilla AI Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

DiscoResearch Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

Interconnects (Nathan Lambert) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

AI21 Labs (Jamba) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

第 2 部分：按频道详细摘要和链接

完整的频道逐项分析已因邮件篇幅而截断。

如果您想查看完整分析，请访问此邮件的网页版：！

如果您喜欢 AInews，请分享给朋友！提前感谢！

← 返回首页