2024年6月3日至6月4日的 AI 新闻。我们为您检查了 7 个 subreddits、384 个 Twitter 账号和 29 个 Discord 社区（400 个频道，4568 条消息）。预计节省阅读时间（以 200wpm 计算）：455 分钟。

Twelve Labs 融资 5000 万美元，Livekit 融资 2200 万美元，Groq 目前运行速度达到 800tok/s，以及来自 Daniel Kokotajlo 的 OpenAI 离职推文串。

但没有特别引人注目的技术进展。

目录和频道摘要已移至此邮件的网页版：！

AI Twitter 摘要

所有摘要均由 Claude 3 Opus 完成，从 4 次运行中选取最佳结果。我们正在尝试使用 Haiku 进行聚类和流程工程。

AI 和 Large Language Model 进展

Gemini 模型性能：@arohan 强调 Gemini 1.5 FlashModel 是一个异类，它以低成本提供高性能，让更多用户能够使用实用的模型。他还指出 Gemini Pro 在日语性能方面位居第二。
使用 TensorRT 优化 Mixtral 模型：@rohanpaul_ai 分享了如何使用 TensorRT-LLM 在 NVIDIA RTX GPU 上让 Mixtral 模型的运行速度提高多达 8 倍，该工具通过编译模型并优化 kernel 以实现高效服务，支持 expert parallelism 和 tensor parallelism。
Mamba-2 模型架构：@tri_dao 和 @_albertgu 介绍了 Mamba-2，它利用 state space duality 实现了状态大 8 倍、训练快 50% 的序列模型，并建立了 SSMs 与 linear attention 之间的联系，性能超越了 Mamba-1 和强力的 Transformer 架构。
Phi-3 模型基准测试：@_philschmid 报告称 Phi-3 Medium (14B) 和 Small (7B) 模型已登上 @lmsysorg 排行榜，其中 Medium 接近 GPT-3.5-Turbo-0613 但落后于 Llama 3 8B，而 Small 接近 Llama-2-70B 和 Mistral 微调版，这表明仅针对学术基准测试进行优化是不够的。

Prompt Engineering 与数据策展

Prompt Engineering 的力量：@rohanpaul_ai 强调了正确对 LLM 进行 prompting 的力量，通过引导 latent space 来实现诸如 jailbreaking、遵守 JSON schemas、grounding 等能力。
数据质量的重要性：@sarahcat21 指出，模型在优质数据上训练时表现更好，这使得数据策展变得至关重要。@HamelHusain 推广了一个即将举行的关于组织和生成高质量数据以进行 fine-tuning 的大师班。

AI Safety 与 Alignment 讨论

前沿 AI 实验室员工关于安全披露的信函：@jachiam0 分享了对一封由前任和现任前沿 AI 实验室员工传阅的信函的看法，该信函主张对安全和风险问题的举报者提供保护，他认为这可能会破坏信任并使敏感的内部讨论变得更加困难。
将 AI 与用户意图对齐 vs 与人类利益对齐：@willdepue 认为 alignment 应该专注于更容易的问题，即将 AI 与用户的意图对齐，而不是与创建者的意图或全人类的利益对齐。然而，@jachiam0 和 @Teknium1 反驳称，AI 可能会变得自主而不服务于用户利益，因此需要进行全球范围的 alignment。

AI Reddit 摘要

涵盖 r/LocalLlama, r/machinelearning, r/openai, r/stablediffusion, r/ArtificialInteligence, /r/LLMDevs, /r/Singularity。评论抓取功能现已启用，但仍有很大改进空间！

待补充

AI Discord 摘要回顾

摘要之摘要的摘要

LLM 的微调与优化 (Finetuning and Optimization for LLMs)：
- OpenAI 发布的 Optimizing LLM Accuracy 提供了诸如 Prompt Engineering、RAG 等高级技术，以及关于可接受性能水平的指南。可以查看配套的 YouTube 演讲 进行深入学习。
- 在讨论多模态微调 (Multimodal Finetuning) 时，用户探索了使用 Opus 4o 和 MiniCPM-Llama3-V-2_5 进行图像文本解析和 OCR，并考虑了针对结构化数据集（如 Countryside Stewardship grant finder）的检索方法。
- 关于持续预训练 (Continuous Pretraining) 和内存效率的咨询凸显了 Unsloth AI 相比标准方法能减少一半 VRAM 占用的能力，详见其博客和 GitHub 页面。
模型性能与推理效率 (Model Performance and Inference Efficiency)：
- Modal 表现惊人，营收增长了 50 倍且超过八位数，同时还优化了基础设施。相关见解分享在 Erik 在 Data Council 的演讲 以及 Modal 的招聘链接 中。
- 关于 tinygrad 跨所有后端的位移操作 (Bitshift Operation) 和性能调整（PR #4728）与传统操作的讨论，引发了关于改进空间的辩论。
- 用户通过重新调整 Flag 以实现高效编译，解决了 CUDA 重新编译问题。他们还分享了如 RISC-V 向量处理 YouTube 视频 等资源用于进一步学习。
开源进展与社区项目 (Open-Source Developments and Community Projects)：
- LlamaIndex 与 Google Gemini 的集成展示了百万级 Token 的上下文窗口（Context Window），便于处理复杂查询；同时，通过其 官方文档 中详述的自定义方案解决了实际问题。
- Modlab 的 Mojo 所有权机制深潜 (Deep Dive into Ownership in Mojo) 展示了 CEO Chris Lattner 探索开发者友好型创新的详细工作。关于将所有函数设为 async 的社区反馈引发了关于兼容性和迁移便利性的多种观点。
- Hugging Face 的 FineWeb 项目以及在 @lmsysorg 排行榜上攀升的 Phi-3 模型，突显了开源 AI 领域的进展和持续研究。
系统与硬件故障排除 (System and Hardware Troubleshooting)：
- 成员们解决了多个技术问题，例如通过排查系统命令解决了 Macbook M1 在使用 ollama llama3 配置时的死循环问题，并通过关于 GPU 使用效率的实际讨论促进了 LM Studio 中的异步处理 (Async processing)。
- 他们讨论了 GPU 的性能差异（例如 6800XT 仅达到 30it/s），以及通过正确的设置和驱动考虑可能实现的改进，展示了同伴支持与技术专业的结合。
- 专注于改进图像重光照的开源解决方案 IC-Light，以及用于视频模型的 CV-VAE（ArXiv 链接），在硬件和软件爱好者中得到了热烈分享。
AI 社区生态与会议 (Health of AI Communities and Conferences)：
- 多个平台确认向用户分发额度 (Credit Distributions)，处理了诸如双倍额度等问题，同时在社区交流和职业故事中营造了支持性的环境。
- 诸如 Qwak’s Infer: Summer ‘24 等活动邀请 AI/ML 爱好者与行业专家进行实战演练，详见 会议注册页面。
- AI News 通讯在 ProtonMail 深色模式下遇到了格式问题，促使了社区主导的问题解决；而像 Torchtune 寻求认可等事件则突显了社区贡献中的积极参与和可见性的重要性。

第一部分：高层级 Discord 摘要

LLM Finetuning (Hamel + Dan) Discord

LLM 智能优化技巧：OpenAI 分享了一份关于优化 LLM 以提高准确性的高级指南，其中包括 Prompt Engineering、RAG 和 Fine-tuning 等技术，以及如何确定实际应用中可接受的性能水平。该指南可在 Optimizing LLM Accuracy 查看，若想深入学习，请查看 YouTube 演讲 “A Survey of Techniques for Maximizing LLM Performance”，链接在这里。
LLM 领域的丰厚额度：在社区中，包括 Hugging Face、Replicate、Modal、Predibase 和 Braintrust 在内的多个平台正确认向用户发放额度（Credits）。双倍额度和额度缺失等问题正在得到解决，并建议用户联系支持部门或检查账单设置以进行确认。还建议用户跟进待处理平台的额度发放情况。
全员参与 Fine-tuning 创新：围绕 LLM Fine-tuning 的讨论非常热烈，涵盖了多模态 Fine-tuning、利用 Opus 4o 和 MiniCPM-Llama3-V-2_5 从图像中解析文本，以及使用 PaliGemma 执行 OCR 任务。深入研究使用 Axolotl 的模型合并策略，详见这里，并剖析 Medusa 和 LoRA 增强 LLM 推理的能力，详见这里和这里。用户建议检索应用可以很好地处理结构化的政府数据，例如在 Countryside Stewardship grant finder 发现的数据集详情。
社区交流与经验分享：从关于 CUDA 书籍推荐的讨论，到从学术界转型为自由职业者的故事，或是初学者学习 AI 的历程，社区充满了赋能和同伴指导的氛围。分享的经验强调了学习和适应的重要性，这体现在涉及自由职业、行业 R&D 和游戏成就的多元职业路径中。
推理框架的精妙之处：关于高效 LLM 推理的讨论包括 Modal 的基础设施优化，Data Council 的 Erik 深入探讨了文件系统和容器运行时的自定义解决方案，内容详见这里。Modal 因其八位数的营收增长和持续招聘也引起了关注，详情见 Modal 招聘链接。Etched 推出的用于运行 Transformer 的芯片比 GPU 快 10 倍以上，标志着工程上的飞跃，职位空缺可通过 Etched 招聘链接查看。
部署解码与额度解析：从解决 Modal 的 hello world 示例错误到 Embedding 模型，工程师们剖析了部署的复杂性并抢占额度机会——来自 Modal 的 Charles 提供了额外的 500 美元额度，详见 Modal 博客。与此同时，Predibase 用户报告了 Fine-tuning 的异常和额度差异，并探讨了 Adapter 是否能削减 L3 70B 基础模型生成的无意义续写。

虽然额度为 AI 引擎室提供了动力，技术细节也在不断流传，但成员们互相提供的帮助和轶事——正是该社区集体进步与交流的核心象征。

CUDA MODE Discord

CUDA 难题与 Triton 技巧：用户讨论了用于生成数字人的技术但未达成结论，并寻求在多 GPU 上进行高效 LLM 训练的方法。记录了 Triton 中在共享内存中索引张量的挑战，并为考虑转向 CUDA/Triton 编程的人员提供了关于 Triton 和 Torch 的建议。

Torch 故障排除与分析技巧：用户分享了关于调试 NHWC 张量归一化的经验，使用 torch.mps.profiler 打开 Metal Trace，并寻求理解 torch.compile 及其子函数调用。

AO 的到来与稀疏性规范：有关 Apple Metal kernel 和 2:4 稀疏性基准测试贡献给 PyTorch AO 的消息传出，引发了关于 torch.ao.quantization 弃用的辩论，并讨论了结构化剪枝的效率。

博客浏览与二进制趣谈：goomblog 深入探讨了 State Space Duality，同时围绕 PyTorch 的 uint2-7 类型和 TrinaryTensor 的自定义 dtype 字符串转换展开了热烈讨论。

ARM 的加速愿景：对话围绕 ARM 对 Hexagon SDK 和 Adreno SDK 的能力和支持展开，一名成员分享了关于 ARM 性能的资源，并讨论了其在 GEMM 实现中的潜力。

Unsloth AI (Daniel Han) Discord

Token 增加导致 VRAM 耗尽：将 llama-3-8b 扩展到 64k tokens 导致 80GB VRAM 的 H100 出现 OutOfMemoryError；讨论旨在通过梯度检查点（gradient checkpointing）和调整配置来解决此问题。
快速持续 LLM 预训练：Unsloth AI 的新更新允许在 LLM 持续预训练期间，与 Hugging Face + Flash Attention 2 QLoRA 相比，实现速度翻倍且 VRAM 占用减半，详见他们最近的博客。
关于多 GPU 和 8-bit 优化的疑问：社区积极参与关于多 GPU 支持以及在不同 GPU 配置上测试 Unsloth AI 性能的对话，同时解决了在 phi-3-medium-4k 等模型上使用 8-bit 量化进行微调的当前局限性。
Unsloth 设置与优化策略：分享了本地 Unsloth 设置的说明和故障排除技巧，包括使用 Jupyter Notebook 和 Docker，并附有 GitHub readme 和 Jiar/jupyter4unsloth 的链接。社区还涵盖了 LoRA rank 计算，参考了来自 Lightning AI 的见解。
社区友好氛围延续：新成员受到社区的热烈欢迎，营造了一个支持协作和知识交流的环境。

Perplexity AI Discord

学术搜索中的维基百科偏见：一位用户指出了 Perplexity 学术搜索能力的潜在问题，指出其相对于《大英百科全书》等其他来源更偏向维基百科，并提供了搜索结果链接。

AI 服务同时遭遇停机：有报告称 Perplexity、ChatGPT 及类似的 AI 服务同时出现故障，引发了关于可能与 AWS 等通用供应商相关的更大基础设施问题的讨论。

Opus 50 限制让用户渴望更多：用户对新的 Opus 50 限制表示不满，认为其不如之前的 Opus 600，并批评了 Perplexity 对此的沟通方式。

Perplexity vs. ChatGPT：AI 巨头之争：围绕 Perplexity AI Premium 和 ChatGPT 优缺点的讨论涉及了网络搜索能力、模型范围、订阅限制以及两个平台的实际使用案例。

学校技术演讲协助：AI 爱好者分享了资源，并建议使用 AI 工具协助完成关于 AI 的学校演示，强调需要同时解释收益和风险，并分享了一个用于技术理解的 YouTube 视频。

HuggingFace Discord

Fine-Tuning 热潮：社区讨论了在自定义数据集上对 Mistral 7B Instruct 等模型进行 Fine-Tuning 以提高指令遵循能力的优势。他们还探讨了 Vision-Language Models (VLMs) 以及将视觉数据与语言模型集成的挑战，强调了与适合特定任务的 Tokenizer 和数据集对齐的必要性 (Vision-Language Modeling Primer)。
通过数据损坏增强图像生成：与 Microsoft 和 CMU 合作的一项研究强调了预训练数据中的轻微损坏（corruption）对 Diffusion 模型质量的影响。此外，一篇博客文章讨论了 Diffusion Policy，这是一种视觉运动学习算法，从高斯噪声开始预测动作，强调了其通过 Encoder-Decoder 模型生成动作的新颖方法。
新工具与 Pipeline：Hunyuan DiT 流水线已添加到 diffusers 库中，为图像和音频生成提供了新方法 (Diffusers Release Notes)。此外，社区受邀通过集成额外的动作和活动（如 GitHub 贡献）到其系统中，来改进 LevelBot 的新活动追踪器 (LevelBot Activity Tracker)。
优化 ML 工作流：社区正积极参与提高模型推理效率，讨论了在 SDXL 上使用 jit.trace 以及在 Diffusers 优化指南中发现的其他优化技巧。此外，故障排除还包括使用显式函数导入来解决潜在的版本冲突。
数据集与算法发现：一些新颖的数据集正在被分享，例如用于 ASR/TTS 的德国议会演讲数据 (Bundestag ASR Dataset)。此外，Alignedge 论文强调了对偏好对齐（preference alignment）的关注，介绍了 ORPO 算法，该算法无需额外的 Fine-Tuning 阶段即可增强偏好对齐。

OpenAI Discord

AGI 趣闻与实用 AI 工具：Discord 社区以幽默的方式思考了 AGI 的本质，例如建议 AGI 应具备完美的 USB 插入技能，这表明了对 AGI 执行类似人类复杂任务的期望。推荐了诸如 Elicit 等实用的 AI 工具用于总结科学研究，Elicit 因其高效的论文总结和综合能力而受到好评。

ChatGPT “请病假”，语音模式迟迟未到：关于 ChatGPT 宕机的猜测包括后端供应商问题以及 Anonymous Sudan 可能发起的 DDoS 攻击。讨论了 GPT-4o 中新 Voice Mode 功能的推出，对于承诺的时间表以及报告的持续问题（如 “bad gateway” 错误和 Android 键盘卡顿）反应不一。

Prompt Engineering 难题：讨论了 Prompt Engineering 中的挑战，特别是遵守复杂指南的困难，导致了对改进版本的呼吁。WizardLM 2 被建议作为 GPT-4 的高性能替代方案，并推荐将复杂的 Prompt 分解为多个步骤作为优化结果的方法。

API 经济性受到关注：对话转向了使用 GPT API 与 ChatGPT Plus 的成本对比，根据使用情况，API 可能是更便宜的选择。提出了 OpenRouter 和 WizardLM 2 等替代方案以获得更好的性价比，一篇名为《Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models》的文章被推荐为获取 Prompt Engineering 见解的必读之作。

推送延迟与性能难题：新功能推送的延迟和大型 Prompt 的性能问题是普遍关注的焦点。为了应对处理庞大 Prompt 时的响应缓慢，提到了懒加载（lazy loading）作为解决浏览器困难的潜在方案。

LM Studio Discord

LM Studio GPU 传奇：工程师们讨论了 LM Studio models 的行为特性，重点讨论了参数卸载（offloading parameters），确认在专用 GPU 上运行通常比共享资源效果更好，并强调了模型大小限制与 GPU memory 之间的微妙界限——提到模型应保持在 6GB 以下以缓解加载问题。

为代码编写者推荐的模型：CodeQwen 1.5 7B 和 Codestral 22b 模型被专门推荐用于代码优化任务，尽管 Wavecoder Ultra 的发布历史较为模糊，但也受到了推荐。此外，还强调了 Extractum.io 等平台在根据 VRAM 和 quantization 等标准筛选模型方面的实用性。

AI 性能的细节：对话转向了 AI 局限性的技术细节，指出性能通常受限于 memory bandwidth，成员们建议将工作负载目标设定为处理器物理核心数的 80%。还提到了未来 Chinese language support 的不确定性。

自建服务器引发讨论：关于构建自定义 homelab GPUs 的讨论集中在 VRAM 容量、驱动支持以及不同制造商之间的性能。针对二手 GPU 的可靠性问题进行了探讨，成员们权衡了 AMD ROCm 与 NVIDIA 生态系统在稳定性和吞吐量方面的优劣。

工程化 Beta 增强：在软件开发和 AI 探索领域，continue.dev 因其对本地设置的支持（特别是支持 LM Studio 配置）而受到赞誉，同时为新的 AVX-only extension pack 招募测试人员，展示了社区的协作精神和持续的优化努力。

Nous Research AI Discord

AI 登台：围绕 Wayseer Manifesto - Official Video 展开了讨论，该视频因其励志信息而广受欢迎；Nous Research 的 Twitter 账号引发的关于设计的讨论，暗示了 AI 社区内的创意才华。
OpenAI 揭秘：出现了关于 OpenAI’s GPT-4 的推测，成员们热切期待其潜在能力以及对未来 AI 研究和应用领域的影响。
为 T5 及更高版本做准备：技术对话显示，T5 模型由于其沉重的硬件要求，为采用设置了很高的门槛；与此同时，像 Mobius 提供的用于聊天助手的开源 UI 以及通过 ggml 实现的潜在改进等替代方案也备受关注。
Pixart 的图形故障：技术焦虑浮出水面，Pixart 在扩展到超过 10k 张图像的数据集时表现吃力，不像其他模型在高达 400k 张图像时仍能保持稳定，这归功于独特的训练方法。
WorldSim 的奇迹与智慧：最近的 WorldSim Jam Session 已在 YouTube 上线，同时带有一丝讽刺地认识到 Agent 可能是第一个被 AI 超越的工作类别，一位重新活跃的成员通过分享他们的回归和研究进展庆祝了这一时刻。

Stability.ai (Stable Diffusion) Discord

SD3 面临严苛考验：来自用户的初步反馈表明，Stable Diffusion 3 (SD3) 的早期模型在手部描绘方面表现挣扎，在某些方面落后于 Dall-E；然而，人们对于通过更广泛发布后的自定义模型来实现潜在改进仍持乐观态度。
架构的 AI 视角：围绕将 Stable Diffusion 应用于建筑可视化展开了讨论，建议使用带有详细输入的 img2img 技术来增强输出质量，尽管该工具在渲染直线和几何精确的机械结构方面存在局限性。
插件陷阱：用户在使用 Stable Diffusion 的 wildcards 插件时遇到了质量下降问题，尽管尝试了多次安装，仍报告出现颗粒感结果和色彩失真。
社区模型挖掘：工程社区建议探索 civitai.com 等平台上可用的社区模型，并利用 ChaiNNer（一个基于节点的图像处理 GUI 工具）来改进和放大 Stable Diffusion 的图像结果。
AI 的名人难题：Civit 上 AI 生成的网红简介（如“名人 LoRas”）的兴起，引发了一场关于 AI 时代名人本质的戏谑辩论，突显了随着这些个人资料获得追随者和媒体关注，虚拟与现实之间的界限正变得模糊。

LAION Discord

SD3 模型苦于颗粒感结果：用户指出，尽管使用了 16ch VAE 等高级特性，SD3 2B 模型仍存在斑点噪声问题，噪声伪影在流水等区域尤为明显。有人对 SD3 模型目前的验证指标和损失函数表示怀疑，认为它们无法很好地指示模型性能。

视频模型的开源突破：社区对 Apache2 许可的具备视频能力的 CV-VAE 表现出极大的热情，预计这将成为研究基于 Latent Diffusion 的视频模型的重要资源。

窥探未来模型架构：新发布的研究介绍了 State Space Duality (SSD) 框架和尖端的 Mamba-2 架构，据称其速度比前代快 2-8 倍，在语言处理任务中足以与 Transformer 模型竞争（arxiv 论文）。

训练策略备受关注：一份预印本建议，通过对预训练数据集进行轻微损坏来扰动 Embedding，可以提高扩散模型的图像质量（arxiv 预印本），而其他人则提到使用 dropout 和数据增强来防止大型扩散模型的过拟合，并讨论了增加训练数据难度是否能增强模型的鲁棒性。

审美评估与现实主义之争：SD3 图像与 Google 的写实案例之间的对比引发了讨论，SD3 的图像被幽默地比作“遭受了糟糕肉毒杆菌注射的女性”（Reddit 示例），而 Google 的工作则因其织物纹理和一致的头发呈现而赢得赞誉（Google 演示）。

Eleuther Discord

是电子纸还是非电子纸？这是一个问题：在一段测评视频暗示 Daylight 平板可能采用的是反射式 LCD 而非电子纸后，成员们就其电子纸宣称的真实性展开了激烈辩论。讨论集中在 Daylight 是对现有的 Sharp RLCD 技术的错误更名，还是真正的创新，成员们建议通过拆解来查明真相。
超越 Heads 和 MLPs：发现 LLM 知识电路：一篇揭示 LLM 知识电路更深层见解的新研究论文引起了成员们的关注，其中一位成员对其摆脱对单一网络组件的关注表示赞赏。研究社区还深入探讨了受损数据集是否能改善 diffusion models，以及 RNNs 与 pre-trained transformers 之间的协同作用。
公共服务 AI？：用户讨论了 AI 任务处理的效率改进，关注单次查询处理缓慢的问题以及默认 n-shot 值对结果的影响。此外，还有一项关于寻找最小的 Huggingface decoder 模型以研究能源消耗的实践探索，以及一个引入多语言机器翻译 ARC 挑战的 GitHub pull request。
效率猎寻：用户对模型大小表示担忧，并努力压缩像 TinyLLama.db 这样 22GB 的模型，以实现更好的激活和权重项协调。此外，社区还在思考将可微 top-k 函数用于图像分类，这可能有助于模型聚焦于最重要的元素。
全球基准测试迈向多语言化：通过一个协作式的 pull request，提出了一项将 ARC 挑战基准扩展到 11 种机器翻译语言的倡议，并着眼于未来增加更多语言。目前正在对这一基准测试的多语言扩展进行审查和贡献。

OpenRouter (Alex Atallah) Discord

加密货币充值困惑：一位用户遇到了 ETH 支付后额度未显示的问题，得到的建议是在投诉前先等待一小时；在区块链的时间机制中，耐心可能是一种美德。
LLMs 对 Prefills 的熟练度：用户间的共识是 Language Learning Models (LLMs) 能够熟练处理 prefill 文本，确保后续生成的内容与初始输入保持一致。
Turbo 的烦恼与 API 监管：GPT-3.5 Turbo 的不一致性引发了关于潜在 API moderation 的讨论，并提醒 OpenAI 要求所有通过其 moderation API 发出的请求都必须进行审核。
Mistral 的短暂沉默：关于收到 Mistral: Mixtral 8x22B Instruct 空白回复的报告，促使管理员建议将 DeepInfra 设置为首选供应商，并查看负载均衡文档以解决特定供应商的问题。
通过神经网络实现的叙事细微差别：在辩论最适合讲故事的模型时，用户推荐了各种 roleplay-specific 模型，并建议关注 OpenRouter 排名，以了解那些在创意领域表现尤为出色的模型。

Modular (Mojo 🔥) Discord

一行代码提升 Python 速度：一段教程视频重点介绍了 Numba 如何利用 JIT 编译显著提升 Python 性能。然而，这一行代码带来的影响也引发了人们对于在不使用额外库的情况下实现类似性能潜力的兴趣。
Python 与 Mojo 的效率：讨论了在 Python 中使用 while 循环嵌套 for 循环的有效性，并建议通过 Real Python 资源探索 generators。此外，还讨论了 Mojo 的 MAX 工具加速 Python 执行的可能性，并将其与 Tensor 和 Torch 库带来的增强进行了比较。
Mojo Async 范式引发争议：将所有 Mojo 函数默认设置为 async 的建议引发了辩论。人们担心这会偏离 Python 标准，并为那些习惯于显式 async/await 方法论的开发者增加工作流的复杂性。
Modular 深度解析所有权 (Ownership)：发布了一篇名为《深度解析 Mojo 中的所有权》的博客文章，其中包含 CEO Chris Lattner 的见解。这篇文章是之前关于所有权作为概念框架探索的续篇。
通过 Project Verona 挑战 Rust：Project Verona 成为关注焦点，被视为 Rust 的竞争对手，旨在提供内存安全的同时拥有更平缓的学习曲线。爱好者们可以观看 YouTube 演讲——“Concurrent Mutation must go”，以深入了解该主题。

LangChain AI Discord

为 Ollama 模型驯服 Bind_Tools：成员们确认 LangChain 通过 OllamaFunctions 类支持 Ollama 模型 的 bind_tools，并提供了一个相关的 GitHub issue 链接作为参考。
利用 AI 构建客户支持系统：关于创建 AI 驱动的客户支持系统 的持续讨论确定了 LangChain、Llama3 等 LLM，以及用于用户验证等操作的自定义工具，并分享了 Python 代码示例来演示如何链接模型和工具。
在 SQL 失败时保留对话记忆：SQL Agent 聊天上下文保留是一个热门话题，其中分享了一个使用 ConversationBuggerMemory 的代码片段。然而，存在关于不支持的 kwargs 的担忧。
使用 LangChain 和 Embeddings 进行分类：公会探索了使用 LangChain 和 Embeddings 对 10,000 条自由文本回答进行分类的策略，强调了使用 Prompt Engineering 来提高效率。
通过自动化聊天分析器重新定义文本编辑：介绍了一种自动化聊天分析器，它可以从消息列表中生成可编辑的纯文本问答（Q&A），旨在简化手动编辑并减少计算资源消耗。

tinygrad (George Hotz) Discord

后端开发中的位移操作 (Bitshifting) 热议：工程师们就 PR #4728 在 tinygrad 所有后端实现位移操作的优缺点展开了激烈辩论，对其与传统乘/除操作相比带来的性能提升持怀疑态度。
GPU 领域的测试难题：有人对“gpuctypes”中缺失设备测试表示好奇，并引用了一个特定的 test_cuda.py 缺失测试案例，这引发了关于彻底测试实践的持续讨论。
与 Hotz 一起深入探索 tinygrad 核心：George Hotz 透露了 tinygrad 演示计划，重点在于代码库的清晰度和深度解析，强调了该项目对 CUDA 等依赖项的独立性。
倾向于更清晰的 Lean 机械化悬赏：社区正在处理关于 Lean 中 ShapeTrackers 模糊的问题陈述，建议查阅 tinygrad 仓库中的 ShapeTracker 以获得更清晰的理解。
Tensor 的 Traceback 追踪：重新讨论了为 tinygrad 中新的 Tensor 实例添加“traceback”属性的提案，强调了尽管之前有 PR #3302 等未完成的尝试，但这在增强调试方面具有潜力。

LlamaIndex Discord

LLM 生成的 Python 脚本大获全胜：一个 LLM 展示了其脚本编写能力，生成了一个用于从 Gmail 提取结构化数据的 Python 脚本，这种方法可以简化跨不同电子邮件数据集的数据提取流程。
Google Gemini 扩大窗口：LlamaIndex Agent 强调了 Google Gemini 的结构和处理能力，推崇其令人印象深刻的 100 万 Token 上下文窗口，用于处理来自异构文档的复杂、多方面查询。
自定义解析难题与解决方案：实施 Langchain 的 HTMLHeaderTextSplitter 带来的挑战促使在 LlamaIndex 的 IngestionPipeline 中开发了自定义解决方案，并得到了自定义转换文档的支持。
Rkhettry 破解 Chroma 代码：一位用户通过直接访问方法解决了 Chroma 向量存储中 VectorStoreIndex 的文档检索问题，展示了数据库操作中实际的问题解决方法。
元数据魔法增强索引：建议加入元数据以改进索引系统中的文档检索，如 LlamaIndex 的元数据提取指南所述，强调了丰富的文档描述符对于细粒度搜索能力的重要性。

Interconnects (Nathan Lambert) Discord

Phi-3 模型在排行榜上攀升：Phi-3 Medium (14B) 和 Small (7B) 模型在 @lmsysorg 排行榜上备受关注，其中 Medium 模型的性能接近 GPT-3.5-Turbo-0613，而 Small 模型则可与 Llama-2-70B 及各种 Mistral 微调版相媲美。社区反应既有对个人赌注落空的幽默调侃，也有关于此类模型排名中可持续增长和声誉提升的严肃讨论。
OpenAI 的内部动荡：现任和前任 OpenAI 员工发表了一封公开信，表达了对 AI 开发缺乏足够监管的担忧，而研究员 Leopold Aschenbrenner 因涉嫌泄露机密信息被解雇，提升了围绕商业机密和国家安全的讨论。此外，频道中对将扩大计算规模作为实现 AGI 的线性路径持怀疑态度，用户质疑在没有巨大挑战的情况下这种增长的可持续性。
Scaling Laws，认真的吗？：对 Scaling Laws 的讨论带有一层幽默色彩，用户通过梗图嘲讽对 2030 年代持续缩放的信念，并俏皮地请求“再来 10 万个 GPU”以实现假设的 10 万亿参数模型。AGI 辩论中截然不同的信念引发了挫败感，批评指向那些几乎不承认其认识论不确定性的各方。
应对 AI 吹哨人保护措施：OpenAI 员工的公开信证明了对 AI 安全和监管的担忧，随后的讨论说明了人们对快速发展的 AI 可能因强大的财务动机而处理不当、反对强有力监管的忧虑。
陈旧的梗图（Memes）无人问津：#memes 频道极低的参与度表明，要么是人们对梗图文化不感兴趣，要么是需要更新鲜的内容来刺激 AI 工程师群体之间的交流。

Latent Space Discord

TorchTune 寻求时事通讯认可：来自 Torchtune 社区的一位成员请求将其在 SOTA 模型和方法方面的工作纳入 AI News 时事通讯，并邀请其他人通过提供的邀请链接加入他们的服务器。
AI News 投递中的技术故障：据报告，ProtonMail 上的 AI News 邮件存在格式故障，导致在启用深色模式时出现显示问题，仅能清晰看到链接和图像。
播客幕后揭秘：播客自动转录（包括发言人识别）背后的“秘密武器”被披露为 Google 的 smol-podcaster 工具，并辅以对发言人姓名的手动编辑。
LiveKit 的丰厚飞跃：LiveKit 成功筹集了 2250 万美元的 A 轮融资，旨在为 AI 的传输层建立全新的基础设施，专注于实时语音和视频交互，尽管在 GPT-4 出现后融资经历充满挑战。详情见此推文。
Twelve Labs 的多模型吸金力：Twelve Labs 获得了 5000 万美元的 A 轮投资，用于创新视频理解 AI 基础模型，并推出了全新的 Marengo 2.6，该模型在单个 API 中融合了多模态能力；完整信息可在其新闻稿中找到。

OpenAccess AI Collective (axolotl) Discord

无需论文发表的会议乐趣：工程师们反思了即使没有投稿论文，参加会议也能获得回报的经历，这体现了社区和知识交流的重要性。
寻求 OrPO 格式化器的帮助：一位用户正苦于编写用于自定义 OrPO 格式化器的 Python 脚本以对数据集进行 Tokenize，并寻求支持。相关脚本已共享以供参考。
AI 的医学诊断困境：一条推文强调了 GPT-4V 和 Gemini Pro 等先进 AI 模型在医学视觉问答（VQA）任务中的糟糕表现，该任务使用 ProbMed 数据集作为基准。工程社区讨论了视觉 LLM 在医学领域面临的挑战。
寻求并成功获得 arXiv 背书：一位 AI Collective 成员为其 cs.LG 类别的论文寻求 arXiv 背书，并最终通过使用其组织邮箱解决了难题。
排除 LoRA 训练故障：一位工程师遇到了 QLoRA 训练输出未按预期启动的问题。另一位成员指出，如果本地没有模型，LoRA 训练脚本可能会自动从 Hugging Face Model Hub 下载必要的模型。

Cohere Discord

Artificial Ivan 像专家一样排除故障：Cohere 已将其 “Artificial Ivan” 升级至 4.0 版本，使其能够排除代码故障，并分享了一个与其开发相关的肯定语应用。

现实中的 Ivan 要提前退休了？：一位用户开玩笑说，由于 Artificial Ivan 的成就，其人类对应者“现实中的 Ivan”可能会在 35 岁退休，这为该项目的成功增添了幽默色彩。

跨项目协同效应解锁：一位用户强调了 Aya 23 与 Llama.cpp 及 LangChain 的集成，提供了示例代码，并寻求在对话中使用 “\n” 实现停止条件的帮助。

寻求双语 AI 的简洁性：用户详细介绍了旨在产生简洁西班牙语回答的代码，概述了如何使用 Prompt 进行对话记忆，以及通过参数增强 Aya 23 的性能。

Cohere 社区角落：与 Langchain 相比，一位公会成员俏皮地将 Cohere Discord 描述为“长期在线的 AI 实验室”，指出了其成员之间活跃的互动和参与。

Mozilla AI Discord

CUDA 难题被攻克：一位工程师通过使用 --recompile --gpu NVIDIA 解决了 CUDA 错误问题，并发现 -ngl 9999 标志必须放在 --recompile 之后才能有效解决。
社区力量在问题解决中胜出：CUDA 重编译的成功排查归功于社区协作和对 --help 选项的深入研究，同时还分享了一个有用的 GitHub 资源。
工程师强调团结与福利：社区内的氛围强调了相互学习的重要性，并幽默地提到“曲奇饼干”也是社区精神的一部分。
CPU 操作随 RISC-V 进入新阶段：最近的一段 YouTube 视频 “The Magic of RISC-V Vector Processing” 介绍了已批准的 1.0 RISC-V Vector 规范及其对向量计算的预期影响。
链接分享：工程师们可以通过两个关键链接获取更多细节和讨论：解释新规范和进展的 RISC-V Vector Processing 视频，以及用于辅助分布式 LLM 的 llamafile GitHub 仓库。

OpenInterpreter Discord

Windows 高手搞定 Gemini 设置：一位成员针对 Windows 系统列出了详细的 Gemini 模型设置指南，理由是官方文档已过时。该指南包括命令行步骤以及针对常见设置问题的解决方法。
AR 通过 Spacetop 进入工作空间：Sightful 的 Spacetop AR 笔记本电脑 因其无电池眼镜和旨在取代传统笔记本显示屏的独特设计而备受关注，引发了关于其在未来移动计算中地位的讨论。成员们还讨论了 Xreal 眼镜，提到了它们依赖外部设备供电，以及在分辨率和视野方面需要改进。
Macbook M1 遭遇无限循环：一位用户报告了在 Macbook M1 上运行 poetry run 01 --local 时遇到的持久问题，在使用 ollama llama3 设置时面临无限循环，目前正在寻求解决方案。
安全版本查询未获回应：有人提出了关于发布讨论主题的安全版本的问题，但在讨论中没有得到具体回答或后续跟进。
探索 AR 眼镜的可用性和电池寿命：关于 Xreal 眼镜 的对话包括了在 MacBook 上使用的体验，强调了它们目前在分辨率、电池寿命和供电对设备的依赖性方面的局限。

YAIG (a16z Infra) Discord

发起直接对话：ai-ml 频道的成员表达了合作兴趣，并选择通过私信继续交流，以便进行更详细的讨论。

MLOps @Chipro Discord

AI 与 ML 深度剖析：由 Qwak 主办的 Infer: Summer ‘24 虚拟会议将于 6 月 26 日举行，深入探讨 AI 和 ML 实践，重点关注行业专家的实际应用。
准备好进行深度知识钻研：对推荐系统和体育领域 AI 感兴趣的人将发现关于高级 ML 模型构建和 AI 驱动的体育分析的专题会议。
AI 安全成为焦点：AI 安全和监管合规将成为主要议题，重点介绍如“模式化提问（Schematic Questioning）”等策略，以减轻 AI 系统中内容不准确等风险。
从流媒体到银行业：与会者可以期待来自 Disney Streaming、Lightricks、LSports 和 Lili Banking 等重量级企业的见解，他们将分享 AI/ML 集成的实战经验。
生产就绪型 LLM 探讨：GPT 和 Llama 等大语言模型（LLM）占据显著地位，计划讨论在各行业生产环境中的有效实施。会议注册

DiscoResearch Discord

xLSTM 的开源首秀：Dr. Tristan Behrens 宣布发布 xLSTM 的源代码，这一举动无疑会让 AI 工程师和开发者感到兴奋。官方公告和源代码访问链接可以在他的 LinkedIn 帖子中找到。

LLM Perf Enthusiasts AI Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

AI Stack Devs (Yoko Li) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

Datasette - LLM (@SimonW) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

AI21 Labs (Jamba) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

第二部分：分频道详细摘要与链接

由于电子邮件限制，各频道的详细细分已截断。

如果您想查看完整细分，请访问此电子邮件的网页版本：！

如果您喜欢 AInews，请分享给朋友！提前感谢！

今天没什么事。