[TOC]

AI Reddit 摘要

涵盖 r/LocalLlama, r/machinelearning, r/openai, r/stablediffusion, r/ArtificialInteligence。评论抓取功能现已上线，但仍有很大改进空间！

AI 模型与性能

Apple MLX 性能：在 /r/LocalLLaMA 中，Apple MLX (0.10.0) 在 配备 76 核 GPU 的 M2 Ultra 上达到了 105.5 tokens/s，在使用 Mistral Instruct 4bit 时超越了 Ollama/Llama.cpp 的 95.1 tokens/s。
Ollama 性能对比：在 /r/LocalLLaMA 中，使用 Mistral Instruct 0.2 q4_0 的 Ollama 性能显示，M2 Ultra 76GPU 以 95.1 t/s 领先，随后是 Windows Nvidia 3090 (89.6 t/s)、WSL2 NVidia 3090 (86.1 t/s) 和 M3 Max 40GPU (67.5 t/s)。Apple MLX 在 M2 Ultra 上达到 103.2 t/s，在 M3 Max 上达到 76.2 t/s。
M3 Max vs M1 Max Prompt 速度：在 /r/LocalLLaMA 中，当处理长上下文时，使用 Command-R 和 Dolphin-Mixtral 8x7B 模型，M3 Max 64GB 的 Prompt 速度比 M1 Max 64GB 快一倍以上。
LLM 的 GPU 考量：在 /r/LocalLLaMA 中，一位用户正在寻求关于围绕 RTX 4090 组装机器还是购买 MAC 的建议，以便运行 Command R 和 Mixtral 模型，并考虑未来的可升级性。
用于 Stable Diffusion 的 GPU：在 /r/StableDiffusion 中，一项关于 3060 12GB vs 4060 16GB 用于 Stable Diffusion 的对比建议选择在经济承受范围内尽可能大的 VRAM。4060ti 16GB 运行 SDXL 20 步需要 18.8 秒。

LLM 与 AI 发展

AI 与人类的对比：在 /r/singularity 中，Microsoft Research 的 Chris Bishop 将只会机械重复信息的 AI 模型比作“随机鹦鹉”，并指出做同样事情的人类却被授予了大学学位。评论区讨论了学位的有效性，以及学位是否代表了不仅仅是信息的机械重复。
对就业的影响：前 PayPal CEO Dan Schulman 预测，由于 AI 的发展，GPT-5 将带来一个“恐慌时刻”，80% 的工作岗位将在职责范围上缩减 80%。
对 AGI 的痴迷：Mistral 的 CEO Arthur Mensch 认为对实现 AGI 的痴迷本质上是关于“创造上帝”。Gary Marcus 也在一条推文中敦促不要创造有意识的 AI。
为未来而建设：Sam Altman 发推文称，人们正努力开发技术，以便后代能够继续推进，而不期望能见到这些成果的受益者。
直面意识问题：/r/singularity 的一个帖子认为，实现 AGI 将迫使人类直面自己对意识产生机制的缺乏理解，并预测了围绕 AI 伦理和权利的辩论与紧张局势。

行业与职业

识别“虚假”的 ML 职位：在 /r/MachineLearning 中，一位博士生在入职了一个不涉及实际 ML 工作的工作岗位后，寻求关于识别“虚假” ML 职位的建议，并指出由于潜在的不诚实行为，在面试中提问可能并不奏效。
传统 NLP 任务的相关性：另一位博士生质疑在 LLM 时代，传统的 NLP 任务（如文本分类、NER 和 RE）是否依然重要，并对自己的研究前景感到担忧。
LLM 的实际用途：/r/MachineLearning 的一个帖子征求除文本生成之外，能提供良好 ROI 的 LLM 实际工业应用案例，并指出像语义搜索这样的任务可以由其他模型很好地处理。

工具与资源

llama.cpp 支持 DBRX：llama.cpp 现在支持 DBRX，这是一种用于 LLM 的二进制格式。
更快的结构化生成：在 /r/LocalLLaMA 中，一种新的 LLM 结构化生成方法被声称比 llama.cpp 的方法快得多，其运行时间与语法复杂度或模型/词表大小无关。作者计划很快将其开源。
Python 数据分类工具：作者开源了用于自动化数据分类和整理的 Python 工具集，旨在高效处理杂乱的文件和海量数据。
简单的离散扩散实现：/r/MachineLearning 分享了一个开源的、仅用 400 行代码实现的简单 PyTorch 离散扩散（discrete diffusion）版本。

硬件与性能

M1 Max vs M3 Max：在 /r/LocalLLaMA 中，一项关于 64GB RAM 的 M1 Max 与 M3 Max 提示词速度对比显示，M3 Max 的速度是前者的两倍以上，尤其是在长上下文（long contexts）情况下。
RTX 4090 vs Mac：一篇帖子征求关于组装 RTX 4090 PC 或购买 Mac 运行 LLM 的建议，发帖者认为 PC 更便宜且更具可升级性。
M2 Ultra 上的 MLX 性能：Apple 的 MLX 库在拥有 76 核 GPU 的 M2 Ultra 上达到了 105.5 tokens/s，在运行 Mistral Instruct 4-bit 模型时超过了 llama.cpp 的 95.1 tokens/s。
Ollama 性能对比：一项在各种硬件上运行 Ollama 库的性能对比显示，运行 Mistral Instruct 模型时，M2 Ultra 以 95.1 t/s 领先，随后是 Windows Nvidia 3090、WSL2 Nvidia 3090 和 M3 Max。

模因与幽默 (Memes and Humor)

几个模因和幽默帖子获得了高赞，包括 “The Anti-AI Manifesto”、“Maybe maybe maybe”、“the singularity is being driven by an outside force”、“Ai women are women” 以及 “Real reason AI (Alien Intelligence) can’t do hands? 👽”。

AI Twitter 摘要

所有摘要均由 Claude 3 Opus 完成，取 4 次运行中的最佳结果。我们正在使用 Haiku 进行 clustering 和 flow engineering。

AI 模型与架构

新模型发布：@RekaAILabs 发布了 Reka Core，这是他们“迄今为止最强大且能力最强的 multimodal 语言模型”，可与 GPT-4/Opus 级别的模型竞争。@WizardLM_AI 发布了 WizardLM-2，这是一个模型家族，包括 8x22B、70B 和 7B 变体，可与领先的闭源 LLMs 竞争。
架构与训练：@jeremyphoward 指出 transformers 是一种架构，通常与 diffusion 结合使用。@ylecun 表示 AI 最终将超越人类智能，但仅靠目前的 auto-regressive LLMs 是无法实现的。
优化与扩展：@karpathy 使用 C 语言优化了一个 LLM 以匹配 PyTorch 的性能，目前达到 26.2ms/iteration，并使用了 fp32 模式下的 cuBLAS 等技巧。@_lewtun 认为强大的 Mixtral-8x22B fine-tunes 版本将缩小与闭源模型之间的差距。

AI 能力与基准测试

Multimodal 能力：@RekaAILabs 展示了 Reka Core 的视频理解能力，在 multimodal chat 方面超越了 Claude 3 Opus。@DrJimFan 推测 Tesla FSD v13 可能会使用 language tokens 来对复杂的自动驾驶场景进行推理。
编程与数学：@OfirPress 指出开源编程 Agent SWE-agent 在发布 10 天后已拥有 1.5k 用户。@WizardLM_AI 使用了一个完全由 AI 驱动的 synthetic 训练系统来提升 WizardLM-2。
基准测试与排行榜：@svpino 注意到 Claude 3 在 GPT-4 更新前的 17 秒内曾是 human eval 排行榜上的最佳模型。@bindureddy 分析了 GPT-4 的编程、数学能力和 knowledge cutoff 是其性能表现的关键原因。

开源与 AI 民主化

开源模型与数据：@arankomatsuzaki 宣布了 EleutherAI 的 Pile-T5 模型，该模型使用了来自 Pile 的 2T tokens 和 Llama tokenizer。@_philschmid 推出了 Idefics2，这是一个参数量低于 10B 的开源 VLM，具有强大的 OCR、文档理解和视觉推理能力。
可访问性与成本：@maximelabonne 指出开源模型现在落后顶尖闭源模型的时间是 6-10 个月，而不是数年。@ClementDelangue 预测这一差距将在年底前完全消除，因为对于大多数用途而言，开源模型更快、更便宜且更安全。
算力与工具：@WizardLM_AI 正在 Hugging Face 上分享 8x22B 和 7B 的 WizardLM-2 权重。@aidangomez 宣布了用于多维度数据搜索的 Compass embedding model 测试版。

行业与生态系统

公司扩张：@gdb 和 @hardmaru 指出 OpenAI 向日本扩张是 AI 存在感的重要体现。@adcock_brett 分享了加拿大在 AI 能力和基础设施方面的 24 亿美元投资。
新兴应用：@svpino 利用 Langflow 的可视化界面和 Langchain，在无需代码的情况下构建了一个完整的 RAG 应用。@llama_index 展示了如何使用 LLMs 和 knowledge graphs 来加速生物材料的发现。
伦理考量：@ID_AA_Carmack 对在 Facebook 期间发生的“政治迫害”中没有给予 @PalmerLuckey 更多支持表示遗憾。@mmitchell_ai 称赞一段视频是迄今为止对 AI 存在性风险（existential risk）最好的报道。

AI Discord 摘要

摘要之摘要的总结

大语言模型 (LLMs) 的进展：各平台和机构对 LLMs 的新发布和新功能表现出极大的兴奋和讨论。关键案例包括：

Pile-T5 来自 EleutherAI，这是一个在 2 万亿 token 上训练的 T5 模型变体，在 SuperGLUE 和 MMLU 等基准测试中表现出更强的性能。包括模型权重和脚本在内的所有资源均已在 GitHub 上开源。
WizardLM-2 系列发布，包含 8x22B、70B 和 7B 等模型尺寸，引发了在 OpenRouter 上部署的热潮，其中 WizardLM-2 8x22B 的表现可与 GPT-4 媲美。
Reka Core，来自 Reka AI 的前沿级多模态语言模型（multimodal language model），其技术报告分享了训练、架构和评估的细节。

LLM 训练与推理的优化与技术：广泛的讨论围绕着优化 LLM 开发的各个方面，包括：

通过 Ring Attention 等方法进行高效的上下文处理，使模型能够通过使用多个设备扩展到几乎无限的上下文窗口。
用于减少内存占用的模型压缩技术，如 LoRA、QLoRA 和 16-bit quantization，以及来自 Lightning AI 和社区实验的见解。
硬件加速策略，例如使用 tinygrad 的驱动补丁在 NVIDIA 4090 GPU 上启用 P2P 支持，从而获得显著的性能提升。
LLM.c 和 torchao 等框架中的内核优化，探索用于矩阵运算的高效张量布局、padding 和 swizzling。

开源倡议与社区协作：AI 社区展现了对开源开发和知识共享的坚定承诺，具体体现在：

Pile-T5、Axolotl 和 Mixtral（Mojo 版本）等重大项目的开源，促进了透明度和协作努力。
CUDA MODE 讲座等教育资源，以及招募志愿者录制和分享内容，推动了知识传播。
社区项目如 llm.mojo（llm.c 的 Mojo 移植版）、Perplexica（Perplexity AI 克隆版）以及用于文档检索的 LlamaIndex 集成，展示了草根创新。

LLM 开发的数据集与数据策略：讨论强调了数据质量、策展（curation）以及训练数据的战略方法的重要性，包括：

合成数据生成技术，如 StableLM（ReStruct 数据集）和 MiniCPM（混合 OpenOrca 和 EvolInstruct）中使用的技术，重点关注用于通过定制合成数据对齐 LLM 的 CodecLM。
数据过滤策略和数据策展缩放定律的发展，正如 CVPR 2024 论文中所述，强调策展不能脱离算力（compute-agnostic）。

多语言和多模态数据集，呼吁使用符合版权许可的欧盟文本和多模态数据来训练大型开放多模态模型，反映了对多样化数据源日益增长的需求。Source 1

Source 2

Source 3

Source 4

其他

Stable Diffusion 3 引发关注与辩论：AI 社区正热切期待 Stable Diffusion 3 (SD3) 的发布，讨论其在质量和效率方面的潜在改进。对话围绕使用 SD Forge 等工具在性能较低的 GPU 上优化性能，并探索结合 ControlNet、Lora 和 outpainting 技术的 AI 驱动创意工作流。SD3 中严厉的提示词审查引发了对潜在质量下降的担忧，正如 Reddit 上所讨论的那样。
Perplexity AI 的路线图与模型对比：Perplexity AI 的 6 月路线图展示了诸如强制 JSON grammar、新的 Databricks 模型、Model Info 接口、状态页面以及多语言支持等新功能，可在其功能路线图页面查看。讨论中比较了 Claude Opus、GPT-4 和 RAG 在各种任务中的 context window 和性能。据这篇文章报道，Meta 在 WhatsApp 上发布了一个类似于 Perplexity AI 的 AI 界面，引发了人们对 AI 在即时通讯平台中日益融合的兴趣。
Tinygrad 在 NVIDIA GPU 上实现 P2P：Tinygrad 通过修改 NVIDIA 驱动，成功在 NVIDIA 4090 和 4070 TI Super GPU 上启用了 peer-to-peer (P2P) 支持，实现了 14.7 GB/s 的 AllReduce 性能。这一突破已在 Twitter 上分享，代码可在 GitHub 获取，这对于降低运行 LLM 的成本具有重要意义。CUDA community 正在通过 One Billion Row Challenge 挑战性能极限，并探索低精度计算的优化策略。
Eleuther AI 的 Pile-T5 模型与研究洞察：EleutherAI 推出了 Pile-T5，这是一种在来自 Pile 的 2 万亿 token 上训练的 T5 模型变体，在 SuperGLUE 和 MMLU 等基准测试中表现出更优的性能。该模型在代码相关任务中表现出色，其权重和训练脚本已在 GitHub 上开源。研究讨论深入探讨了 MoE 与 dense transformer 模型的对比、tokenization 在 LLM 中的作用，以及使用 Google 的 Patchscopes 等框架对 hidden representations 的可解释性。

PART 1: High level Discord summaries

Stability.ai (Stable Diffusion) Discord

Stable Diffusion 3 引发热议：AI 爱好者们对 Stable Diffusion 3 (SD3) 充满期待，讨论其提升效率的潜力，并辩论 SD Forge 在优化低性能 GPU 表现方面的优点。

Pixart-Sigma 挑战 VRAM 极限：在 ComfyUI 中应用带有 T5 conditioning 的 Pixart-Sigma 引发了关于 VRAM 占用的讨论，参与者指出，即使在 8-bit 压缩模式下，T5 也能将 VRAM 占用维持在 10.3GB 以下。

内容创作 AI 工具备受关注：关于 ControlNet、Lora 等 AI 工具以及 outpainting 等扩展技术的交流，暗示了在创意工作流中对一致色彩生成和背景延伸的需求。

辩论 AI 的 CPU 与 GPU 效率：社区成员交流了 GPU 显存优化的排错技巧，并为在性能较低的机器上运行 Stable Diffusion 的用户推荐了 --lowvram 等功能，强调了 CPU 和 GPU 处理速度之间的显著差异。

艺术家寻求技术驱动的合作：AI 与艺术工具融合的趋势仍在继续，一位数字艺术家正在寻求关于一款结合 AI 功能的绘画应用的建议和教程帮助，项目详情见 GitHub。

Perplexity AI Discord

文本与逻辑中的 AI 模型表现：辩论强调 Claude Opus 在文本创作方面表现出色，而 GPT-4 在逻辑推理方面更胜一筹。从业者应根据应用需求探索最适合的模型。
上下文依赖于模型选择：Claude Opus 因能精准执行顺序指令而受到赞誉，而讨论表明 GPT-4 在多次追问后可能会出现失误；RAG 在文件上传的大上下文检索方面具有优势。
Perplexity 路线图首次展示多语言支持：Perplexity AI 的 6 月路线图预告了强制 JSON grammar、新的 Databricks 模型、Model Info endpoint、状态页、多语言支持以及 N>1 sampling，可在其特性路线图页面查看。
API 细节引发对话：用户深入探讨了 Perplexity API 的细微差别——从模型中的默认 temperature 设置、引用功能、社区辅助获取响应中的 URL，到提高 rate limits 的流程。
Meta 模仿 Perplexity？：有传言称 Meta 为 WhatsApp 推出的 AI 界面与 Perplexity 相似，这表明 AI 正在加速集成到即时通讯平台中，一篇对比两者的文章进一步强调了这一点（Meta Releases AI on WhatsApp, Looks Like Perplexity AI）。

Unsloth AI (Daniel Han) Discord

Geohot 为 4090 破解并恢复了 P2P 支持：”geohot” 巧妙地在 NVIDIA 4090 上实现了 peer-to-peer 支持，从而增强了多 GPU 设置；详情可在 GitHub 上找到。

Unsloth 获得多 GPU 动力：对 Unsloth AI 中多 GPU 支持的兴趣激增，Llama-Factory 被认为是值得调研的集成路径。

来自 Hugging Face 的鼓励：Unsloth AI 获得了 Hugging Face CEO Clement Delangue 的关注，他在某平台上关注了该项目，暗示了潜在的合作意向。

AI 博士生活的语言迷宫：一位博士生概述了他们在为母语开发指令遵循 LLM 时面临的挑战，强调了该项目的复杂性远不止简单的翻译和微调。

百万美元的数学 AI：社区关注了一个 1000 万美元的 Kaggle AI 奖项，旨在创建一个能够精通国际数学奥林匹克竞赛（IMO）的 LLM，并讨论了 AMS 为 Beal Conjecture 的证明或反例提供的 100 万美元悬赏。

资源丰富的 VRAM 实践与战略微调：AI 工程师们聚集在一起讨论如何高效利用 VRAM 来训练像 Mistral 这样强大的 LLM，分享了诸如 Unsloth 的 “减少 30% VRAM” 更新以及从较短示例开始微调的细致方法。

语言数据集的文化征服：交流了扩大低资源语言数据集的策略，包括使用来自 HuggingFace 等平台的翻译数据。

开创性地使用 Podman 进行 AI 部署：创新者展示了在 Podman 容器中部署 Unsloth AI，简化了本地和云端实现，如本演示所示：Podman Build - For cost-conscious AI。

Ghost 7B Alpha 提升基准测试：Ghost 7B Alpha 因其优于其他模型的推理能力而受到称赞，标志着在不扩展 tokenizer 的情况下微调的实力，正如爱好者们所讨论的那样。

模型压缩的思维碰撞：讨论了 adapter 的融合，特别是 QLoRA 和用于 vLLM 或 GGUF 的 16bit 保存技术，思考了简单合并与反量化策略的复杂性。

Eleuther Discord

Pile-T5 的力量：EleutherAI 推出了 Pile-T5，这是一款增强型的 T5 模型变体，通过使用来自 Pile 的 2 万亿个 token 进行训练。它在 SuperGLUE 和 MMLU 基准测试中展现了显著的性能提升，并在代码相关任务中表现出色，相关资源包括权重和脚本已在 GitHub 上开源。

熵数据过滤：CVPR 2024 论文 揭示了在解析数据过滤中熵的重要性方面取得的显著进展。一项实证研究揭示了捕捉数据策展（data curation）如何与熵根本相关的缩放法则（scaling laws），丰富了社区对异构且有限的网页数据及其实际影响的理解。在此处探索该研究：here。

透视 Transformer 黑盒：Google 的 Patchscopes 框架旨在通过生成自然语言解释，使 LLM 的隐藏表示更具可解释性。同样，一篇介绍 Transformer 因果操纵（causal manipulations）工具包的论文展示了在训练期间定位关键模型子电路（subcircuits）的价值，这可能为避免常见的训练障碍提供路径。有关 JAX 工具包的详细信息可以在 Stephanie Chan (@scychan_brains) 的这条推文中找到，关于 Patchscopes 框架的信息请见此处。

MoE 与稠密 Transformer 之争：社区讨论探讨了 MoE 与稠密 Transformer 模型的容量和优势。关键见解揭示了 MoE 在没有 VRAM 限制时的相对优势，并质疑了稠密模型在相当的参数预算下是否具有同等的性能。人们对驱动模型行为（除指标之外）的基础属性表现出明显的关注。

NeoX 细节揭晓：GPT-NeoX 项目内部的问题涉及了一些复杂细节，例如为了 GPU 效率而采用的超大嵌入矩阵（embedding matrices），以及可能由于非标准激活函数导致的特殊权重衰减（weight decay）行为。关于旋转嵌入（rotary embeddings）的一项评论指出，其在 NeoX 中的应用与其他模型相比仅为部分应用。目前正在制定企业级 CLA 以促进对该项目的贡献。

Nous Research AI Discord

Google 的 Infini-attention 论文备受关注：一位成员对 Google 的 “Infini-attention” 论文表示了兴趣，该论文可在 arXiv 上获取，提出了一种处理语言模型更长序列的新方法。
社区深入研究向量搜索：在向量搜索速度的对比中，FAISS 的 IVFPQ 以 0.36ms 位居榜首，其次是 FFVec 的 0.44ms；与此同时，FAISS Flat 和 HNSW 的耗时较长，分别为 10.58ms 和 1.81ms。
AI 基准测试受到审查：成员之间的讨论挑战了当前 AI 基准测试的有效性，提出需要更难作弊、针对特定领域任务的评估，例如一个经过审查的税务基准测试 (tax benchmark)。
期待 WorldSim 的更新：对即将发布的 WorldSim 更新的热情正在高涨，成员们分享了受其启发的实验，同时为下周三预告的新功能做准备。
显微镜下的 LLM：技术交流包括对一篇 arXiv 论文中详述的安全导向医疗 LLM 的咨询，在考虑预训练必要性的同时对希腊语 LLM 进行微调的挑战，以及在检索增强生成 (RAG) 查询中进行行内引用 (in-line citations) 的方法。

OpenRouter (Alex Atallah) Discord

Mixtral 模型混淆：社区报告称 Mixtral 8x22B:free 已停用；用户应迁移到 Mixtral 8x22B 标准模型。实验性模型 Zephyr 141B-A35B 和 Fireworks: Mixtral-8x22B Instruct (preview) 已开放测试；后者是 Mixtral 8x22B 的微调版本。

Token 交易故障：一位用户在购买 Token 时遇到的问题被认为与 OpenRouter 无关；建议其直接联系 Syrax 寻求解决。

展示 Rubik’s 研究助手：有兴趣测试新型 Rubiks.ai 研究助手的用户可以加入 Beta 测试，并获得 2 个月的免费高级会员。该工具支持访问 Claude 3 Opus 和 GPT-4 Turbo 等模型；测试者应使用代码 RUBIX 并提供反馈。探索 Rubik’s AI。

动态路由研讨：关于通过动态路由到最高每秒交易数（t/s）端点来提升 Mixtral 8x7B Instruct (nitro) 速度的讨论非常热烈。对于 Zephyr 141b 和 Firextral-8x22B 等模型的性能，大家也持有不同意见。

WizardLM-2 系列激起热潮：新公布的 WizardLM-2 系列包含 8x22B、70B 和 7B 等尺寸，引起了社区的极大兴趣。关注点特别集中在 WizardLM-2 8x22B 在 OpenRouter 上的预期表现。

LM Studio Discord

模型运行出故障：用户报告了 LM Studio 在不同版本和操作系统中存在的模型加载问题，包括 "Error loading model." 错误信息，以及在降级版本和关闭 GPU offload 后问题依然存在。一位用户在对模型性能持续感到沮丧后，寻求彻底删除并重新安装 LM Studio 的方法。

关注硬件：围绕有效运行 AI 模型的硬件需求展开了大量讨论，强调了若要获得媲美 GPT-4 的体验需要高端设备，并指出了 Threadripper Pro CPU 利用不足的问题。相比之下，ROCm 的支持受到质疑，特别提到了 Radeon 6600 在 LM Studio 中不被支持。

量化困境与创新推理：Quantization（量化）是一个热门话题，用户注意到了性能变化，并争论输出质量的权衡是否值得。同时，一篇题为 “Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention” 的论文被广泛传阅，阐述了 Transformer 有效处理超长输入的尖端方法。

探索新模型领域：用户分享了对 Command R+ 和 Mixtral 8x22b 等一系列新模型的体验和建议，重点关注不同的配置、性能，甚至介绍了一个基于命令的工具 missionsquad.ai。值得注意的是，Command R+ 在分析长文档方面的表现被赞誉超过了同类模型。

Beta 版困扰与 Docker 发行：虽然一些用户在 MACOS 0.2.19 中苦苦挣扎，但另一些用户则发起了倡议，例如在 GitHub 上创建并维护 Autogen Studio 的 Docker 镜像。与此同时，由于 Linux Beta 版本缺少 ROCm 支持，社区表达了失望情绪，凸显了技术用户遇到的特定障碍。

OpenAI Discord

AI 自我意识：事实还是虚构？ 围绕 AI 的进步对意识的影响以及伦理使用，展开了激烈的辩论。伦理考量被重点强调，但对于 AI 系统是否具有自我意识尚未达成共识。
Token 处理技巧：讨论了应对 GPT 的 Token 限制的策略，用户建议通过总结内容和使用后续提示词（follow-up prompts）来在约束范围内有效地管理上下文。
GPT-4 Turbo 的视觉能力：澄清了 ‘gpt-4-turbo’ 集成了视觉能力，虽然由于内存限制仍有 4k Token 的限制，但分析图像需要使用脚本。
精准提示词技巧：用户分享了 GPT 模型不一致性的经验，指出特定版本的行为和微调方面会影响响应的准确性，并建议采用 meta-prompting 模板以获得更好的结果。
征集 Prompt 挑战黑客：呼吁对探索 Prompt Hacking 感兴趣的工程师组队参加比赛，建议在与 LLM 的创意交互中进行协作尝试。

Latent Space Discord

与 Scarlet AI 跨越边界的协作：全新的 Scarlet 平台通过协作式 AI Agent 增强了任务管理，这些 Agent 提供自动化的 Context 并支持工具编排（tool orchestration），目前正计划与 Zapier NLA 集成。文中提到了一个正在开发中的 Demo，Scarlet 官网提供了其服务的详细信息。

关于 Perplexity 消失传闻的讨论：Perplexity 的 “online” 模型从 LMSYS Arena 中移除，引发了关于该模型效能及其在工程工具中集成潜力的辩论。这一事件凸显了人们对 AI 模型集成效率的共同关注。

AI 治理 YouTube 的混乱内容：工程师们探讨了为 AI 应用转录并总结 YouTube 内容的策略，辩论了包括 Descript、youtube-dl 以及带有 diarization 功能的 Whisper 在内的各种工具的优劣。讨论反映了在简化 AI 模型训练内容处理方面的持续努力。

Limitless 展望个性化 AI 的未来：Rewind 更名为 Limitless，并推出了一款具备个性化 AI 能力的可穿戴设备，引发了围绕本地处理和数据隐私的讨论。这体现了人们对新型 AI 驱动的可穿戴技术在安全影响方面的高度关注。

在语义搜索中探索向量空间：关于语义搜索复杂性的深入讨论，包括向量大小、内存使用和检索性能，最终促成了一个旨在深入研究 Embedding 模型的黑客松提案。这些对话反映了对优化 AI 驱动的搜索应用中速度、效率和性能的密切关注。

Modular (Mojo 🔥) Discord

赢得你的 Mojo 勋章：通过向 modularml/mojo 仓库贡献代码或创建酷炫的开源项目来参与 Mojo 社区，从而获得久负盛名的 Mojician 角色。拥有已合并 PR 的成员可以私信 Jack，将其 GitHub 贡献与 Discord 身份绑定。

Mojo 对 Python 的愿景：社区正热切期待 Mojo 扩展对 Python 库的全方位支持，目标是包含带有 C 扩展的 Python 包。同时，增强 Mojo Reference 易用性的工作正在进行中，Chris Lattner 暗示了一项可能简化可变性管理（mutability management）的提案。

代码生成与错误处理的前沿：GPU 代码生成策略以及可能借鉴 Swift 实现的 “extensions” 功能（用于卓越的错误处理）引发了成员间的技术辩论，预示了 Mojo 开发的未来方向。

社区代码协作激增：llm.mojo 项目活动频繁，向量化和并行化等性能提升技术可能会受益于集体智慧，包括在单个仓库中保持 C 和 Mojo 代码库的同步。

Mojo 更新的 Nightly 新闻：Mojo 团队将在即将发布的版本中修复标准库中包命名的差异。此外，将 StaticTuple 更新为 Array 并支持 AnyType 的想法引起了关注，社区还发起了对标准库 Unicode 支持贡献的号召，并讨论了正确的项赋值（item assignment）语法。

Modular 更新的 Twitter 动态：关注 Modular 的 Twitter 以获取最新的推文动态，包括更新和公告。该机构最近发布的六条推文揭示了他们正在进行的各项计划。

CUDA MODE Discord

P2P 获得速度提升：Tinygrad 增强了对 NVIDIA 4090 GPUs 的 P2P 支持，在修改 NVIDIA 驱动后，AllReduce 性能达到 14.7 GB/s，详情见此处；而 PyTorch 正在处理 namespace 构建的复杂性，nightly build 显示其性能慢于 torch.matmul。

海量行排序挑战等待 CUDA 竞争者：tspeterkim_89106 发起了 CUDA 实现的 One Billion Row Challenge，在 V100 上运行时间为 16.8 秒，令人印象深刻，并邀请他人挑战 4090 GPU 上的 6 秒纪录。

性能优化的新领域：CUDA 讨论围绕在独立 CUDA streams 中运行独立 matmuls 的优点、利用 stable_fast 优于 torch.compile 的方案，以及 stable_fast 挑战 int8 quant tensorrt 速度所展示的高效低精度计算追求。

记录并分享 CUDA 专业知识：CUDA MODE 正在招募志愿者通过 YouTube 录制和分享内容，讲课材料也维护在 GitHub 上，并强调可能会转向直播以应对不断增长的成员规模。

HQQ 和 LLM.c：迈向高效：gpt-fast 上的 HQQ 实现 更新通过 torchao int4 kernel 支持提升了 token generation 速度，而 LLM.c 正面临 CUDA softmax 集成挑战，探索 online softmax algorithm 效率，并兼顾峰值性能与教学清晰度的双重目标。

Cohere Discord

连接器困惑已消除：一名成员解决了 Cohere’s connector API 的问题，了解到连接器 URL 必须以 /search 结尾以避免错误。

精细微调：Cohere’s base models 可通过其仪表板进行微调，如仪表板链接所示，选项已扩展至 Amazon Bedrock 和 AWS。

新的 Cohere 工具即将问世：分享了关于新 Cohere 功能的更新，特别是名为 Coral 的聊天机器人界面，以及即将发布的用于连接器实现的 AWS toolkits。

模型性能讨论：围绕 Cohere models（如 command-r-plus）的对话涉及了它们在不同硬件上的性能，包括 Nvidia 最新的显卡和 TPUs。

AI 新手的学习途径：寻求教育资源的社区新成员被引导至 LLM University 等免费课程，并提供了 Cohere 教育文档的链接。

Command-R 震撼核心：Command-R 因成为 Cohere 新集成的核心模块而获得赞誉，突显了其重要性。

量化与 AI 融合：发布了 Quant Based Finance 的 Beta 测试邀请，吸引对 AI 驱动的财务分析感兴趣的人士，链接见此处。

Rubiks.AI 推出：分享了 Rubiks.AI 的 Beta 测试邀请，这是一个新的高级研究助手和搜索引擎，提供对 Claude 3 Opus 和 GPT-4 Turbo 等模型的早期访问，网址为 Rubiks.AI。

HuggingFace Discord

多模型技术诀窍汇总：工程师们交流了在单个 GPU 上部署多个 A1111 模型的技巧，重点讨论了并行运行模型时的资源分配。在 NLP 频道中，讨论探索了轻量级 Embedding 选项，如 all-MiniLM-L6-v2，并建议将 paraphrase-multilingual-MiniLM-L12-v2 用于学术目的。

认知碰撞：AI 模型跨越现实：cool-finds 频道分享了 PyTorch 与 Blender 集成以实现实时数据流水线的链接，而一篇 Medium 文章介绍了 LlamaIndex 的文档检索增强功能。用于 Zero-Shot 目标检测的 Grounding DINO 模型及其在 Transformers 中的应用在 computer-vision 频道引起关注。

社区驱动的 AI 时间线与心智模型：旨在通过关键论文绘制数据科学演进图谱的项目 RicercaMente 在 cool-finds 和 NLP 频道受到推崇，并邀请社区协作。同时，一种名为 Counterfactual Inception 的方法被提出用于解决 AI 回答中的幻觉问题，详见 arXiv 论文及相关的 GitHub 项目。

训练的磨难与挑战：在 computer-vision 频道中，一位用户在 U-Net 训练 11 个 epoch 遇到平台期后，考虑将 Deep Image Prior 用于图像清洗任务。在 diffusion-discussions 中，讨论了多模态 Embedding，并澄清了一个关于 Gradio 聊天机器人在图像生成时 Token 限制警告过载的问题。

跨界交流：活动与教育：today-im-learning 和 reading-group 频道宣传了即将举行的 LLM Reading Group 课程，重点关注开创性研究，包括 OpenAI 的 CLIP 模型和 Zero-Shot Classification。此外，还为 NLP 初学者推荐了资源，包括入门指南和 Transformer 概览视频。

LAION Discord

诈骗提示：LAION 不存在 NFT：社区反复发布关于诈骗的警告，涉及一个冒充 LAION 声称提供 NFT 的虚假 Twitter 账号。社区已确认 LAION 仅专注于免费、开源的 AI 资源，不从事任何销售活动。

何时引导 Diffusion：一篇 arXiv 论文介绍了最新发现，即 Diffusion 模型在特定噪声水平下应用引导（Guidance）时图像效果最佳，强调应重点关注生成的中间阶段，同时避开早期和晚期阶段。

从 AI 音频创新到伦理讨论：讨论范围广泛，从引入新的 AI 模型（如用于声音生成的 Hugging Face Parler TTS），到关于正确使用“伦理数据集”的辩论，以及此类政治术语在 AI 研究中的影响。

Stable Diffusion 3 的困境：社区见解指出，Stable Diffusion 3 由于严格的提示词审查（Prompt Censorship）面临质量下降的风险。人们期待进一步的优化来解决这一潜在问题，相关讨论特别分享在 Reddit 上。

Diffusion 模型故障排除：一位成员分享了一个 GitHub 仓库，他在训练 Diffusion 模型时遇到了问题：尽管尝试调整了正则化和学习率，但在推理过程中模型仍输出随机噪声和纯黑图像。

LangChain AI Discord

警惕垃圾信息：多个频道报告了包含成人内容链接的垃圾信息，虚假宣传 TEEN/ONLYFANS PORN，存在潜在的网络钓鱼风险。建议成员避免点击可疑链接或内容。

RAG 操作需要精确性：用户在对法律合同进行检索增强生成（RAG）操作时遇到了文档切分问题，章节内容被错误地链接到前一章节，从而损害了检索准确性。

LangChain 实现并行化：利用 LangChain 的 RunnableParallel 类可以并行执行任务，提高 LangGraph 操作的效率——对于那些追求性能优化的开发者来说，这是一种值得考虑的方法。

新兴 AI 工具与技术：分享了各种资源、教程和项目，包括 Meeting Reporter、RAG 指南以及个性化推荐系统，旨在为 AI 专业人士提供前沿知识和实用解决方案。

观看与学习：推荐了一系列 YouTube 教程，重点介绍如何使用 Vertex AI Agent Builder 实现聊天 Agent，并将其与 Slack 等通信平台集成，这对那些对 AI 驱动应用开发感兴趣的人非常有价值。

OpenAccess AI Collective (axolotl) Discord

OpenAccess AI 走向开源：NVIDIA Linux GPU 的 P2P 支持通过 GitHub 上的 open-gpu-kernel-modules 得到了提升，为增强 GPU 功能提供了工具。

Fireworks AI 凭借 Instruct MoE 引起关注：Fireworks AI 的 Mixtral 8x22b Instruct OH 取得了令人期待的结果，预览见此处。尽管在 DeepSpeed zero 3 上遇到了小问题，但通过从 DeepSpeed 的 main 分支拉取更新已得到解决。

DeepSpeed 的贡献说明：虽然它不直接加速模型训练，但 deepspeed zero 3 在训练大型模型方面表现出色。通过集成来自 DeepSpeed 官方 GitHub 仓库的更新，已成功解决了 MoE 模型的兼容性问题。

与 AI 的和谐关系：AI 音乐创作的进展备受关注，一首由 AI 创作的曲目可在 udio.com 试听。

高级模型训练工具：讨论围绕模型合并、LISA 和 DeepSpeed 的使用及其对模型性能的影响展开。该工具被引用用于提取 Mixtral 模型专家（experts），同时还讨论了硬件先决条件。

动态权重解冻：针对 GPU 受限的用户，出现了关于动态权重解冻（dynamic weight unfreezing）策略的讨论，以及 Mixture-of-Depths 的非官方 GitHub 实现，可在此处访问：GitHub 链接。

RTX 4090 GPU 与 P2P：在 RTX 4090 上通过 tinygrad 成功启用 P2P 显存访问，引发了关于消除 P2P 使用障碍的讨论，社区对这一成果表现出极大的热情。

对抗模型重复性：针对模型产生重复输出的持续缺陷，成员们开始探索多样化的数据集和微调方法。Mergekit 成为模型手术的首选工具，其配置灵感源自 WestLake-10.7B-v2。

微调与 Prompt 手术：深入探讨了 Axolotl 的微调细节，在 Axolotl GitHub 仓库的指导下解决了 IndexError 和 Prompt 格式问题，并成功调整了配置。

Mistral V2 表现出众：Mistral v2 instruct 在第一轮（first-epoch）训练中就取得了异常出色的结果，在包括元数据提取在内的多种任务中表现优异，凭借新的自动化能力超越了 qwen 等模型。

DeepSpeed Docker 深度探索：通过 DeepSpeed 进行分布式训练需要自定义 Docker 构建，并简化 SSH 密钥以实现节点间的免密通信。使用正确的环境变量启动容器至关重要，详情见此 Phorm AI 代码搜索链接。

DeepSpeed 与 🤗 Accelerate 的协作：DeepSpeed 与 🤗 Accelerate 无缝集成，且不会覆盖自定义的学习率调度器（learning rate schedulers），push_to_hub 方法进一步简化了 Hugging Face 模型中心仓库的创建。

OpenInterpreter Discord

恶意软件误报与命令行谜题：工程师们提出了关于 Avast 抗病毒软件 检测以及 OpenInterpreter 中 ngrok/ngrok/ngrok 命令行引起困惑的问题；建议更新文档以消除用户的疑虑。

Tiktoken 获得构建进度的 PR：一个旨在通过更新 OpenInterpreter 的 tiktoken 版本来解决构建错误的 GitHub 拉取请求（PR）表明改进正在进行中；在此查看更改 here。

持久化难题：Assistants API 的出现：讨论了集成 Assistants API 进行数据持久化的问题，社区成员创建了 Python 助手模块以实现更好的会话管理；正在寻求关于节点操作实现的建议。

Ubuntu 上的 OS Mode 历险记：Ubuntu 上的 Open Interpreter OS Mode 引发了故障排除讨论，重点在于降级到 Python 3.10 以实现平台兼容性并配置辅助功能设置。

自行定制：O1 的用户驱动创新：O1 社区通过个人修改和增强（如改进电池和定制外壳）展示了他们的创造力；一个基于 Open Interpreter 文档训练的自定义 GPT 模型正在为 ChatGPT Plus 用户提供帮助。

LlamaIndex Discord

LlamaIndex 迁移 PandasQueryEngine：最新的 LlamaIndex 更新 (v0.10.29) 将 PandasQueryEngine 重新定位到 llama-index-experimental，这需要调整导入路径，并提供了错误消息以指导过渡。

AI 应用生成器引起关注：LlamaIndex 与 T-Systems 及 Marcus Schiesser 合作推出了 create-tsi，这是一个用于生成符合 GDPR 规范的 AI 应用程序的命令行工具，通过一条推广推文引起了社区的兴趣。

重新定义数据库和检索策略：社区交流深入探讨了用于相似性搜索的理想向量数据库，对比了 Qdrant、pg vector 和 Cassandra，并讨论了利用混合搜索进行多模态数据检索，参考了 LlamaIndex 向量存储指南。

增强 AI 推理的教程和技术：分享的文章和教程展示了在基于 Colbert 的 Agent 中通过记忆强化文档检索的方法，以及集成小型知识图谱以提升 RAG 系统，正如 WhyHow.AI 所强调的那样。

社区表彰与技术支持：社区对推进 AI 推理的文章表示赞赏，同时 LlamaIndex 用户解决了技术难题并鼓励积极为文档做贡献，强化了平台对知识共享和支持的承诺。

tinygrad (George Hotz) Discord

堆叠 4090 削减了 TinyBox 的开支：关于 RTX 4090 驱动补丁 登上 Hacker News 头条的热情高涨，这标志着其在 GPU 效率方面的突破。通过堆叠，RTX 4090 在运行大语言模型 (LLMs) 时能大幅降低成本。计算数据显示，与红色阵营 (Team Red) Tinybox 相比，成本降低了 36.04%；与绿色阵营 (Team Green) Tinybox 相比，成本更是惊人地降低了 61.624%。
Tinygrad 开发持续升温：George Hotz 与 Tinygrad 社区正致力于改进 tinygrad 文档，特别是针对开发者体验和错误信息的清晰度。社区达成共识，将代码行数限制提高到 7500 行以支持新的 backends，并解决了不稳定的 mnist 测试以及 scheduler 中的非确定性问题。
Tinygrad 中的算子融合与图切分：对 Tinygrad 内核生成的深入剖析揭示了融合过程中的图切分 (graph splits) 可能源于广播 (broadcasting) 需求等原因，详见 create_schedule_with_vars 函数。用户了解到 Tinygrad 能够运行 Stable Diffusion 和 Llama 等重量级模型，尽管它并不直接用于这些模型的训练。
Colab 与贡献故事：AI 工程师们交流了在 Google Colab 上设置和利用 Tinygrad 的技巧，推荐的安装命令为 pip install git+https://github.com/tinygrad/tinygrad。讨论中提到了张量填充 (tensor padding) 和 Transformer 模型带来的挑战，而使用 None 进行填充被认为是一个实用的解决方案。
鼓励贡献与文档深度探索：为了帮助新手，社区分发了 Tinygrad 文档 链接和个人学习笔记，揭开了引擎运行机制的神秘面纱。关于在没有 CUDA 支持的情况下进行贡献的问题受到了欢迎，强调了在参与贡献之前深入了解 Tinygrad 生态系统的重要性。

进一步探索和理解的相关链接包括：

Interconnects (Nathan Lambert) Discord

Hugging Face Collections 简化了产出物组织：Hugging Face collections 已被引入，用于汇总关于开源模型和数据集博客文章中的产出物。这些集合便于再次访问，并配有 API，详见 Hugging Face 文档。

“增量”更新之争与开源数据倡议：社区成员在 Claude 2 到 Claude 3 转变的重要性上存在分歧，并呼吁关注可能被忽视的开源数据倡议的价值。与此同时，AI 发布公告密集出现，Pile-T5 和 WizardLM 2 位居前列。

机器学习讨论综述：对话涉及了 ACL 修订版上传的义务、“大模型”的优势，以及 critic vs reward models 之间的区别——其中 Nato 的 RewardBench 项目是关注焦点。来自 @andre_t_martins 的一条推文澄清了 ACL 修订版上传的流程。

启发性的论文与研究：重点介绍的论文包括 “CodecLM: Aligning Language Models with Tailored Synthetic Data” 和 “LLaMA: Open and Efficient Foundation Language Models”（Hugging Face 标识符为 2302.13971）。合成数据的作用以及向更强大的模型学习是讨论的核心收获。

图表获得认可，建议对机器人保持耐心：在时事通讯领域，图表因其清晰度赢得了赞誉，并承诺未来将进行增强并集成到 Python 库中。有人提到一个实验性机器人可能更需要耐心，而非过早的人为干预。

LLM Perf Enthusiasts AI Discord

Haiku 的速度瓶颈：工程师们讨论了 Haiku 较慢的总响应时间（与其吞吐量形成对比），并建议将 Bedrock 作为潜在替代方案，尽管那里也存在速度方面的担忧。

Claude 的 RP 限制：由于 Claude 拒绝参与角色扮演（RP）提示词（如扮演女仆战士或发送虚构的垃圾邮件），即使在使用各种提示词技术后，社区仍表示担忧。

越狱枢纽：在讨论中，分享了 @elder_plinius 的一条推文，内容关于 Claude 3 的通用越狱方法，以启用更激进的内容，从而绕过像 Gemini 1.5 Pro 中那样严格的内容过滤器。社区似乎正在评估其影响；推文链接见此处。

代码能力主张：某未命名工具的新版本因其增强的代码编写能力和速度而受到赞誉，一位成员正考虑重新激活其 ChatGPT Plus 订阅以进一步测试这些升级。

Claude 的上下文优势：尽管其他工具在改进，Claude 在长上下文窗口（context window）代码任务中仍保持其独特优势，这暗示了 ChatGPT 在处理上下文窗口大小方面的局限性。

DiscoResearch Discord

Mixtral 的精通还是神话？：社区讨论涉及 Mixtral MoE models 训练和微调（finetuning）效率的不确定性，一些人怀疑其性能背后有未公开的技术。人们对周末尝试使用 en-de instruct 数据进行微调表现出兴趣，Envoid 的 “fish” 模型被提及为 Mixtral 中 RP/ERP 应用的一个奇特案例，尽管由于硬件限制尚未测试。

Llama-Tokenizer 调整教程技巧：优化自定义 Llama-tokenizer 以降低硬件占用的努力促成了资源分享，例如来自 Hugging Face 的 convert_slow_tokenizer.py 和来自 llama.cpp GitHub 带有 --vocab-only 选项的 convert.py 脚本。此外，社区还在征集用于训练大型开放多模态模型的无版权欧盟文本和多模态数据。

翻译器的模板倾向：occiglot/7b-de-en-instruct 模型在评估中展现了模板敏感性，由于模板正确性（如 Hugging Face 的正确模板用法所示），其在德国 RAG 任务上的表现有所波动。

来自 StableLM 和 MiniCPM 的训练启示：预训练（pretraining）方法的见解被重点强调，参考了 StableLM 使用的受 ExpressAI GitHub repo 启发的 ReStruct dataset，以及 MiniCPM 在冷却阶段偏好混合 OpenOrca 和 EvolInstruct 等数据的做法，详见其研究的第 5 章中的详细说明。

Mozilla AI Discord

Burnai 引起关注：社区中的 Rust 爱好者指出 Burnai project 在优化推理（inference）方面的潜力尚未被充分利用，并对 Mozilla 尽管是 Rust 的创造者却缺乏参与提出了疑问。

Llamafile 获得 Mcaffee 的信任：llamafile 0.7 binary 已成功进入 Mcaffee 的白名单，这标志着该项目安全声誉的一次胜利。

新合作者活跃讨论：一位新参与者加入了进来，渴望投入到协作和知识共享中，预示着新视角的出现。

对 Vulkan 和 tinyblas 的好奇心达到顶峰：人们对预期的 v0.8 版本中潜在的 Vulkan 兼容性以及将 tinyblas 合并到上游以用于 ROCm 应用的好处产生了浓厚兴趣，表明了对性能增强的集中关注。

模型打包寻求帮助：对将自定义模型打包进 llamafile 的指导需求引发了社区交流，促成了诸如关于容器发布的 GitHub Pull Request 等贡献。

Alignment Lab AI Discord

垃圾邮件清理机器人建议：有人建议在服务器中集成 wick bot，以自动遏制垃圾邮件问题。
寻求通过 DM 进行调试：一位用户在寻求代码问题帮助时，表示希望通过 DM（私信）进行直接协作，并以此请求来验证自己是真人，以消除可能的机器人嫌疑。
重新考虑 Discord 邀请：有建议提出应禁止 Discord 邀请，以防止服务器内出现复杂情况，但目前尚未达成共识或做出决定。
项目活跃度检查：一位用户询问了项目的状态，仅通过一句“项目还活着吗？”来质疑其活跃度，未提供更多上下文。

AI21 Labs (Jamba) Discord

Code-Jamba-v0.1 展示多语言精通：Code-Jamba-v0.1 模型在 2 x H100 GPU 上训练了 162 小时，利用 Code-290k-ShareGPT 和 Code-Feedback 等数据集，在 Python, Java 和 Rust 代码编写方面表现出色。
征集 Code-Jamba-v0.1 评估数据：成员们强调了对 Code-Jamba-v0.1 进行性能基准测试的需求，并思考了 AI21 Labs 数据集在增强其他 Large Language Models 方面的效用。
关注 Jamba API 公告：一位成员关于即将推出的 Jamba API 的提问暗示了其与 Fireworks AI 集成的可能性，目前正等待与其领导层的进一步讨论。

Datasette - LLM (@SimonW) Discord

AI 的密码说服游戏：PasswordGPT 是一款引人入胜的游戏，挑战玩家说服 AI 泄露密码，在模拟的社会工程中测试自然语言生成的极限。
标注艺术与原始 LLM 分析的对比：社区在偏好上存在分歧：是应该在建模前对数据集进行细致标注以获得更好的理解，还是依赖 Large Language Models (LLMs) 的原始预测能力。
LLM 时代之前的历史数据破译：大家认可了一项共同努力，即一个团队使用 LLM 之前的 Transformer 模型从历史文档中细致地提取记录，展示了跨时代的 AI 应用。
通过开放提示词增强用户参与度：共识倾向于支持开放提示词的 AI 演示，这可以通过揭示底层 Prompt 来引导更深层次的用户参与，并提高“智胜” AI 的能力。

Skunkworks AI Discord

扩展 AI 前沿：宣布了一场名为“解锁将 Gen AI 应用扩展到生产环境的秘密”的即将举行的见面会，探讨扩展 Gen AI 应用面临的重大挑战。来自 Portkey、Noetica AI 和 LastMile AI 的专家小组成员将分享见解，注册链接请点击此处。

PART 2: 频道详细摘要与链接

Stability.ai (Stable Diffusion) ▷ #general-chat (1129 条消息🔥🔥🔥):

Stable Diffusion 讨论集中在 SD3 和效率上：对话重点围绕即将推出的 Stable Diffusion 3 (SD3) 的影响和能力，成员们热切期待其发布和功能。提供的示例视频展示了可感知的质量提升，同时讨论还深入探讨了 SD Forge 对低性能 GPU 的有效性以及 SD3 的发布时间表。
Pixart-Sigma, ComfyUI 和 T5 调节：用户正在 ComfyUI 环境中探索带有 T5 调节（Conditioning）的 Pixart-Sigma，讨论了 VRAM 需求和性能，并提到在 8-bit 压缩模式下，T5 不会超过 10.3GB VRAM。该模型的提示词遵循度、生成速度以及如 ‘res_momentumized’ 之类的采样器是大家关注的话题，并分享了优化生成质量的见解。
ControlNet, Lora 和 Outpainting 查询：社区正在就各种 AI 工具交换建议，包括 ControlNet、Lora 和外扩填充（Outpainting）功能，以满足特定项目需求（如填充物体背后的背景）。有人询问了在使用 ControlNet 时保持生成的图像颜色一致的可能性。
CPU 与 GPU 性能关注点：成员们讨论了 Stable Diffusion (SD) 在 CPU 上运行时的性能较慢的问题，图像生成时间比使用 GPU 显著更长。用户分享了经验和建议，包括在 SD 中使用 --lowvram 标志来减少 GPU 显存占用。
社区项目与 AI 功能：一位艺术家宣布正在开发一款集成 AI 功能的绘画应用，并寻求社区的反馈和教程制作支持。该应用旨在将基本的数字艺术工具与独特的 AI 驱动功能相结合，项目概览可在此处查看。

提到的链接：

Clip front: 未找到描述
Why Not Both Take Both GIF - Why Not Both Why Not Take Both - 发现并分享 GIF: 点击查看 GIF
Nervous Courage GIF - Nervous Courage Courage the cowardly dog - 发现并分享 GIF: 点击查看 GIF
Perturbed-Attention-Guidance Test | Civitai: rMada 的帖子。标签为 . PAG (Perturbed-Attention Guidance): https://ku-cvlab.github.io/Perturbed-Attention-Guidance/ PROM...
TikTok - Make Your Day: 未找到描述
SUBPAC - 体验声音的新方式：Feel it.™: SUBPAC 通过让身体沉浸在低频、高保真的物理声音中，让你感受到低音，外部保持安静。非常适合音乐、游戏和 VR。
Reddit - 深入探索一切: 未找到描述
Stability AI: 通过生成式 AI 激发人类潜力。为每个人、每个地方提供各种模态的开源模型。
Server Is For Js Javascript GIF - Server Is For Js Javascript Js - 发现并分享 GIF: 点击查看 GIF
SUPIR: 新的 SOTA 开源图像放大和增强模型，优于 Magnific & Topaz AI 教程: 使用 V8 版本，现在也可以在 12 GB GPU 上配合 Juggernaut-XL-v9 基础模型运行。在本教程视频中，我介绍了 SUPIR (Scaling-UP Image Restoration)，一种最先进的...
Home v2: 使用我们的 AI 图像生成器改变您的项目。以无与伦比的速度和风格生成高质量的 AI 图像，提升您的创意愿景
SUPIR: 新的 SOTA 开源图像放大和增强模型，优于 Magnific & Topaz AI 教程: 使用 V8 版本，现在也可以在 12 GB GPU 上配合 Juggernaut-XL-v9 基础模型运行。在本教程视频中，我介绍了 SUPIR (Scaling-UP Image Restoration)，一种最先进的...
Reddit - 深入探索一切: 未找到描述
是否可以使用 Flan-T5 · Issue #20 · city96/ComfyUI_ExtraModels: 是否可以在 Pixart-Sigma 中使用仅编码器版本的 Flan-T5？这个：https://huggingface.co/Kijai/flan-t5-xl-encoder-only-bf16/tree/main
GitHub - QuintessentialForms/ParrotLUX: 开源 AI 的数位板绘画应用: 开源 AI 的数位板绘画应用。通过在 GitHub 上创建账户来为 QuintessentialForms/ParrotLUX 的开发做出贡献。
Reddit - 深入探索一切: 未找到描述
GitHub - KU-CVLAB/Perturbed-Attention-Guidance: "Perturbed-Attention Guidance" 的官方实现: "Perturbed-Attention Guidance" 的官方实现 - KU-CVLAB/Perturbed-Attention-Guidance
曲速引擎：新模拟: 从 Brilliant 的科学课程中了解更多！前 30 天免费，使用我们的链接可享受年度高级订阅 8 折优惠 ➜ https://brilliant....
Reddit - 深入探索一切: 未找到描述
GitHub - PKU-YuanGroup/MagicTime: MagicTime: 作为变形模拟器的延时摄影视频生成模型: MagicTime: 作为变形模拟器的延时摄影视频生成模型 - PKU-YuanGroup/MagicTime
Dungeons & Dancemusic: 🧙🏻‍♂️🧙🏻‍♂️🧙🏻‍♂️欢迎，年轻的节奏创作者！舞池巫师 Racso 将教你强力舞池节奏的六个基本属性。Str...
GitHub - city96/ComfyUI_ExtraModels: 支持各种图像模型。目前支持：DiT, PixArt, T5 和一些自定义 VAE: 支持...
Reddit - Dive into anything：未找到描述
GitHub - lllyasviel/stable-diffusion-webui-forge：通过在 GitHub 上创建账户，为 lllyasviel/stable-diffusion-webui-forge 的开发做出贡献。
Socks Segmentation - ADetailer - (socks_seg_s_yolov8) - v1.0 | Stable Diffusion Other | Civitai：一个用于分割图像中袜子的 Yolov8 检测模型。该模型可用作 ADetailer 模型（用于 Automatic1111 / Stable Diffusion），或者 ...
MohamedRashad/midjourney-detailed-prompts · Hugging Face 数据集：未找到描述

Perplexity AI ▷ #general (879 条消息🔥🔥🔥):

Context Window 和 RAG 讨论：用户讨论了 Context Window 的工作原理，指出 Claude Opus 能成功遵循指令，而 GPT-4 在多次追问后可能会丢失上下文。据称 RAG 仅检索文档的相关部分，从而为文件上传提供更大的上下文。
模型切换与 Perplexity 功能：一些用户正在考虑是继续使用 Perplexity Pro 还是 You.com，权衡各平台之间的优缺点，如 RAG 功能、长上下文处理和代码解释功能。
代码生成问题：用户报告了模型在提示时不输出完整代码片段的问题——提到 Claude Opus 在生成完整代码方面比 GPT-4 更可靠，后者往往倾向于描述性而非可执行的代码。
AI 模型评估：用户讨论了各种 AI 模型在不同任务中的有效性，认为 Claude Opus 更擅长散文写作，而 GPT-4 更擅长逻辑推理。他们强调通过反复试验来寻找最适合特定需求的模型。
其他查询与关注点：用户询问了有关账户问题和意外扣费的辅助响应，提到了模型的技术问题（如幻觉和错误的搜索结果），提出了对新 AI 服务的隐私担忧，并对 Reka 等新模型的可能性以及视频输入功能（涉及成本和上下文限制）表示了兴趣。

提到的链接：

Grok-1.5 Vision Preview：未找到描述
首款官方模拟器 "iGBA" 现已在 Apple App Store 上架下载：一款新的 Game Boy 模拟器正式登陆 Apple App Store，让复古游戏玩家能够畅玩过去喜爱的游戏。
‘Como si Wikipedia y ChatGPT tuvieran un hijo’：这就是初创公司 Buzzy AI，它是 Perplexity 的“母亲”，这款搜索引擎可能会终结 Google：Perplexity 是一款由人工智能驱动的搜索引擎，得到了杰夫·贝佐斯等技术名人的支持，并拥有像执行董事...这样的亿万富翁。
OpenAI 计划推出搜索引擎与 Google 竞争：由 Sam Altman 领导的公司据称正在开发一款搜索引擎，利用 AI 进行比传统搜索更精确的搜索。
Rate Limits：未找到描述
Take My Money Fry GIF - Take My Money Fry Futurama - 发现并分享 GIF：点击查看 GIF
Monica - 您的 ChatGPT AI 助手 Chrome 扩展程序：未找到描述
TikTok - Make Your Day：未找到描述
Cognosys：认识这款能简化任务并加速工作流程的 AI。更快速、更智能地完成工作，无需烦恼
TikTok - Make Your Day：未找到描述

Perplexity AI ▷ #sharing (23 messages🔥):

美国政策探讨：成员们正在研究美国政策，有人分享了一个 Perplexity 搜索链接，引导至相关查询。
探讨诚实的价值：分享了一个 Perplexity AI 搜索链接，建议就诚实的重要性展开讨论。
了解 Durable Functions：参与者通过在 Perplexity AI 上分享的搜索查询深入了解 Durable Functions 的世界。
Meta 为 WhatsApp AI 模仿 Perplexity：一篇文章指出，Meta 在 WhatsApp 上的 AI 与 Perplexity AI 进行了对比，旨在洞察 AI 在即时通讯平台中日益扩大的应用。
Scratchpad-Thinking 与 AutoExpert 结合：讨论了将 scratchpad-think 与 autoexpert 功能结合的可能性，并由一个 Perplexity 搜索突出显示。

提到的链接：Meta Releases AI on WhatsApp, Looks Like Perplexity AI：Meta 已在印度及非洲部分地区的 WhatsApp、Instagram 和 Messenger 上悄然发布了其 AI 驱动的聊天机器人。

Perplexity AI ▷ #pplx-api (26 messages🔥):

Perplexity API 路线图公布：Perplexity AI 的路线图（6 天前更新）概述了计划在 6 月发布的功能，例如强制 JSON grammar、N>1 sampling、新的 Databricks 模型、Model Info endpoint、状态页以及多语言支持。文档可在其功能路线图页面查看。
默认 Temperature 设置探讨：在调用 Perplexity API 且未指定 temperature 时，“online”模型的默认值为 0.2，对于其他模型来说，这个值可能出乎意料地低。建议用户在 API 请求中明确指定 temperature 以避免歧义。
寻求 Citations 功能的明确说明：多位用户询问了 Perplexity API 中将如何以及何时实现 citations（引用），并参与了讨论，分享了 Perplexity 文档中关于功能申请流程的链接。
API 问题响应中的循环引用：一位寻求帮助的用户在 API 响应中未收到新闻报道的 URL，被引导至 Discord 频道的一条帖子获取信息。这体现了社区成员尝试互相帮助的情况。
API Rate Limit 提升请求：一位用户询问如何提高 API 的 rate limit，并被引导填写 Perplexity 网站上的表格，该过程似乎涉及说明提高容量的业务需求。

提到的链接：

Feature Roadmap：未找到描述
Get Sources and Related Information when using API：未找到描述
Data from perplexity web and perplexity api：未找到描述
API gives very low quality answers?：未找到描述
Discover Typeform, where forms = fun：在几分钟内无需代码即可创建精美、互动的表单。免费开始使用。

Unsloth AI (Daniel Han) ▷ #general (431 messages🔥🔥🔥):

<ul>
  <li><strong>Unsloth Multi-GPU 更新查询</strong>：有关于 Unsloth AI 的 Multi-GPU 支持更新的咨询。提到了查看集成了 Unsloth 的 Llama-Factory 的建议。</li>
  <li><strong>Geohot 为 4090 增加 P2P 支持</strong>：分享了一个重大更新，“geohot” 已将 P2P 功能破解回 NVIDIA 4090，并附带了相关的 <a href="https://github.com/tinygrad/open-gpu-kernel-modules">GitHub 链接</a>。</li>
  <li><strong>即将举行的 Unsloth AI 演示和问答活动提醒</strong>：发布了由 Analytics Vidhya 主办的 Unsloth AI 现场演示及问答环节的公告。感兴趣的人员可以通过发布的 <a href="https://us06web.zoom.us/webinar/register/WN_-uq-XlPzTt65z23oj45leQ">Zoom 链接</a>加入。</li>
  <li><strong>Mistral 模型融合策略讨论</strong>：讨论了将 MOE 专家合并到单个模型中的实用性，并对输出质量表示怀疑。一些人考虑将针对特定任务微调 Mistral 并移除较少使用的专家作为一种潜在的压缩方法。</li>
  <li><strong>Hugging Face CEO 在 X 平台关注 Unsloth</strong>：Hugging Face 的联合创始人兼 CEO Clement Delangue 现在在某平台关注了 Unsloth，这引发了对两个 AI 社区未来合作的期待。</li>
</ul>

提到的链接：

Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws：语言模型的物理学：第 3.3 部分，知识容量缩放定律。缩放定律描述了语言模型规模与其能力之间的关系。与以往通过损失或基准测试评估模型能力的研究不同，我们估计了 n...
Video Conferencing, Web Conferencing, Webinars, Screen Sharing：Zoom 是现代企业视频通信的领导者，拥有简单、可靠的云平台，可跨移动端、桌面端和会议室系统进行视频和音频会议、聊天和网络研讨会。Zoom ...
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models：量化是服务大语言模型 (LLM) 不可或缺的技术，最近已应用于 LoRA 微调。在这项工作中，我们关注量化和 L...
Vezora/Mistral-22B-v0.1 · Hugging Face：未找到描述
AI-Sweden-Models (AI Sweden Model Hub)：未找到描述
Viking - a LumiOpen Collection：未找到描述
Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments - Lightning AI：LoRA 是用于训练自定义 LLM 的最广泛使用的参数高效微调技术之一。从使用 QLoRA 节省内存到选择最佳 LoRA 设置，本文提供了实用的...
NVIDIA Collective Communications Library (NCCL)：未找到描述
GitHub - tinygrad/open-gpu-kernel-modules: NVIDIA Linux open GPU with P2P support：支持 P2P 的 NVIDIA Linux 开源 GPU。通过在 GitHub 上创建账号为 tinygrad/open-gpu-kernel-modules 的开发做出贡献。
GitHub - astramind-ai/Mixture-of-depths: Unofficial implementation for the paper "Mixture-of-Depths: Dynamically allocating compute in transformer-based language models"：论文 "Mixture-of-Depths: Dynamically allocating compute in transformer-based language models" 的非官方实现 - astramind-ai/Mixture-of-depths
[BUG] LISA: same loss regardless of lisa_activated_layers · Issue #726 · OptimalScale/LMFlow：描述该 Bug：我认为目前的 LISA 实现可能存在问题。无论激活多少层，训练损失都没有区别。没有使用 LMFlow 而是使用了 HF ...

Unsloth AI (Daniel Han) ▷ #random (38 条消息🔥):

探索 AI 领域的博士生活：一位 AI 领域的一年级博士生讨论了攻读博士学位的压力与乐趣，包括产出结果的压力和自我怀疑。在一条消息中，他们提到自己的课题是在母语中创建一个指令遵循 LLM，并指出这是一个复杂的项目，不仅仅是翻译和微调。
AI 竞赛中的潜在“金矿”：对话转向了 Kaggle AI 数学奥林匹克竞赛，该竞赛为能够获得国际数学奥林匹克竞赛金牌的 LLM 提供 1000 万美元的奖金。一位博士生还提到了让他们的后辈来研究这个问题的想法。
关于比尔奖（Beal Prize）的讨论：聊天中包含了一个指向美国数学学会（American Mathematical Society）的链接，详细介绍了比尔奖的规则，提到了证明或反驳比尔猜想（Beal Conjecture）的条件，并指出奖金总额为 1,000,000 美元。
大学优先事项的辩论：一名成员指出，在研究课题方面，大学更注重发表论文和产生“影响力”，而不是竞赛奖金，尽管他们在讨论竞赛中巨额的货币奖励。
AI 与语言的本质：有一些关于思维和语言作为自引用系统的哲学思考。有人认为思想是自我生成的，而语言只能通过更多的语言来定义。
Instagram 上展示的 AI 技术：一段简短的插曲展示了对一个分享的 Instagram 视频的参与，该视频因其内容和特别整洁的代码而受到称赞，尽管并非所有人都能完全理解它。

提到的链接：

AI Mathematical Olympiad - Progress Prize 1 | Kaggle：未找到描述
Julia | Instagram 上的数学与编程："当你是一名研究生时 #gradschool #phd #university #stem #phdstudent #machinelearning #ml #ai"：6,197 个赞，139 条评论 - juliaprogramming.jl，2024 年 4 月 8 日："当你是一名研究生时 #gradschool #phd #university #stem #phdstudent #machinelearning #ml #ai"
比尔奖规则与程序：推进研究，建立联系。
Reddit - 深入探索一切：未找到描述

Unsloth AI (Daniel Han) ▷ #help (313 条消息🔥🔥):

高效的 VRAM 使用和微调策略：参与者讨论了高效微调 Mistral 等大语言模型的方法，并对训练长样本时的 vRAM 占用 表示担忧。建议使用来自 Unsloth 的减少 30% VRAM 占用的更新，利用 梯度累积步数（accumulation steps） 来抵消大 batch size 的影响，并考虑先在短样本上微调再转向长样本的策略。
为新语言选择基座模型：成员们寻求关于在低资源语言上进行微调的建议，用户分享了在 Gemma 等模型上的经验，并讨论了混合数据集和持续预训练（continuing pretraining）等策略。
保持工作流不中断的技巧与窍门：用户讨论了 unsloth 安装 的故障排除问题，并分享了 Kaggle 和 starsupernova 的安装说明，以克服诸如 CUDA not linked 错误，以及与 torch 版本、flash-attn 和 xformers 的依赖问题。
用于生产环境的 Adapter 合并：有一段关于合并 QLoRA 的 adapter 的正确方法的对话，以及是使用朴素合并（naive merging）还是在合并前进行反量化（dequantization）等更复杂的过程。Starsupernova 提供了关于将模型保存为 16bit 以便合并到 vLLM 或 GGUF 的 wiki 链接。
对话格式转换与自定义训练：一位用户分享了一个脚本，用于将纯文本对话数据集转换为 ShareGPT 格式，以便准备模拟个人聊天风格，同时建议在转换后使用 Unsloth 的 notebook 进行自定义训练。

提到的链接：

Google Colaboratory：未找到描述
Google Colaboratory：未找到描述
ura-hcmut/ura-llama-7b · Hugging Face：未找到描述
ghost-x/ghost-7b-v0.9.0 · Hugging Face：未找到描述
Supervised Fine-tuning Trainer：未找到描述
Home：提速 2-5 倍，节省 80% 显存的 QLoRA 和 LoRA 微调 - unslothai/unsloth
Home：提速 2-5 倍，节省 80% 显存的 QLoRA 和 LoRA 微调 - unslothai/unsloth
GitHub: Let’s build from here：GitHub 是超过 1 亿开发者共同塑造软件未来的地方。为开源社区做贡献，管理你的 Git 仓库，像专业人士一样审查代码，跟踪错误和功能...
Home：提速 2-5 倍，节省 80% 显存的 QLoRA 和 LoRA 微调 - unslothai/unsloth
CodeGenerationMoE/code/finetune.ipynb at main · akameswa/CodeGenerationMoE：用于代码生成的 Mixture of Expert 模型。通过在 GitHub 上创建账户来为 akameswa/CodeGenerationMoE 的开发做出贡献。
no title found：未找到描述
Type error when importing datasets on Kaggle · Issue #6753 · huggingface/datasets：描述该 Bug。当尝试运行 import datasets print(datasets.__version__) 时，会产生以下错误 TypeError: expected string or bytes-like object。看起来它找不到 val...
GitHub - facebookresearch/xformers: Hackable and optimized Transformers building blocks, supporting a composable construction.：可定制且经过优化的 Transformers 构建模块，支持组合式构建。 - facebookresearch/xformers
no title found：未找到描述
GitHub - unslothai/unsloth: 2-5X faster 80% less memory QLoRA & LoRA finetuning：提速 2-5 倍，节省 80% 显存的 QLoRA 和 LoRA 微调 - unslothai/unsloth
unsloth (Unsloth)：未找到描述

Unsloth AI (Daniel Han) ▷ #showcase (54 条消息🔥):

低资源语言增强技术：成员们讨论了增强低资源语言数据集的方法，提到了使用翻译数据和 HuggingFace 上的可用资源。
EEVE-Korean 模型数据效率主张：一位成员引用了一篇关于 EEVE-Korean-v1.0 的论文，强调了一种基于以英文为中心的大语言模型 (LLM) 的高效词汇扩展方法，据称仅需 20 亿个 token 即可显著提升非英语语言能力。
打包在 Podman 容器中的 Unsloth AI：分享了一个视频，演示了容器化生成式 AI 应用程序的 podman 构建，包括 Unsloth AI，能够部署在本地或云服务商：Podman Build - 针对成本敏感型 AI。
通过 Ghost 7B Alpha 增强 LLM：讨论强调了 Ghost 7B Alpha 在推理能力上优于 ChatGPT 等模型的优势。进一步的讨论集中在该模型的微调方法上，其中包括困难的推理问题，暗示了一种类似于 orca 的方法，且没有扩展 tokenizer 词汇表。
初步基准测试的有趣结果：一位成员分享了他们的初步基准测试结果，引发了其他参与者的积极反馈和肯定，表明性能前景广阔。

提到的链接：

Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models：该报告介绍了 \texttt{EEVE-Korean-v1.0}，这是一个针对韩语适配的大语言模型，在英语和韩语文本理解方面表现出卓越的能力。基于最近的高...
Sloth Crawling GIF - Sloth Crawling Slow - Discover & Share GIFs：点击查看 GIF
Tweet from undefined：未找到描述
ghost-x (Ghost X)：未找到描述
Podman Build- For cost-conscious AI：关于 @podman 如何构建容器化生成式 AI 应用的快速演示，这些应用可以部署在本地或你首选的云服务商。这种选择是...

Eleuther ▷ #announcements (1 messages):

Pile-T5 亮相：EleutherAI 发布了 Pile-T5，这是一款 T5 模型变体，在来自 Pile 的 2 万亿 token 上使用 LLAMA tokenizer 进行了训练，在 SuperGLUE 和 MMLU 等基准测试中表现出显著的性能提升。该模型在代码相关任务中也表现更好，并为 HF 和 T5x 版本提供了中间检查点（intermediate checkpoints）。
模型细节与贡献：Pile-T5 经过了 200 万步的精心训练，并结合了原始 span corruption 方法以改进微调效果。正如公告中所确认的，该项目是 EleutherAI 成员共同努力的结果。
面向社区开源：所有与 Pile-T5 相关的资源，包括模型权重和训练脚本，均已在 GitHub 上开源。这包括中间检查点，允许社区进行实验并在此基础上开展工作。
Twitter 上的致谢与链接：Pile-T5 的发布和开源已在 Twitter 上公布，邀请社区阅读博客文章、下载权重并为仓库做出贡献。

提及的链接：

Pile-T5：在 Pile 上训练的 T5
GitHub - EleutherAI/improved-t5: Experiments for efforts to train a new and improved t5：训练全新且改进的 T5 的实验工作 - EleutherAI/improved-t5
Tweet from Aran Komatsuzaki (@arankomatsuzaki)：🚀 介绍 Pile-T5！🔗 我们 (EleutherAI) 非常激动地开源了我们最新的 T5 模型，该模型使用 Llama tokenizer 在来自 Pile 的 2T token 上训练。✨ 具有中间检查点和...

Eleuther ▷ #general (123 messages🔥🔥):

评估集（Evals）汇编的协作：一位参与者请求在编译和解决评估列表方面提供协助和协作，并将感兴趣的成员引导至一份共享的 Google 文档。
NeurIPS 高中赛道征集队友：一位成员正在寻找潜在队友参加 NeurIPS 的新高中赛道，并邀请感兴趣的人士与其联系。
模型生成技术讨论：一场关于技术细节的讨论展开了，即为什么对于 Phi-2 等模型，逐个生成 token 与使用 Hugging Face 的 generate() 一次性生成所有 token 会产生略有不同的结果。多位社区成员提出了假设，并提供了相关 GitHub issues 和代码片段的链接。
AI 音乐生成展示：一位成员讨论了他们在 AI 生成音乐方面的进展，并提出可以根据要求生成任何独奏钢琴曲的续写，并暗示在 audio-models 频道即将发布一篇重大帖子。
AGI 路径的社区项目提案与讨论：关于一名成员提出的基于 STRIPS 调度器创建“友好 AGI”的方案，展开了广泛的辩论。尽管存在一些质疑，提案者还是提供了其概念论文链接并详细阐述了该想法，理由是迫切需要 AI 对齐（Alignment）和安全性的替代方案。

提及的链接：

加入我们的云高清视频会议：Zoom 是现代企业视频通信的领导者，拥有一个简单、可靠的云平台，用于跨移动设备、桌面和会议室系统的视频和音频会议、聊天和网络研讨会。Zoom ...
[你希望我们/你处理/探索/解决的评估列表]：未找到描述
训练 LLMs 的数学 —— 与 Eleuther AI 的 Quentin Anthony 交流：现在收听 | 拆解爆火的 Transformers Math 101 文章，以及针对基于 Transformers 架构的高性能分布式训练（或者说“我如何学会停止空谈并开始...”）
GitHub - elicit/machine-learning-list：通过创建 GitHub 账号为 elicit/machine-learning-list 的开发做出贡献。
为什么我立即离开我的公司 (Stability AI) 与 Emad Mostaque | 第 93 集：在本集中，Peter 和 Emad 讨论了 Emad 辞去 StabilityAI CEO 职务、他下一步进入去中心化 AI 领域的计划，以及为什么现在如此紧迫...
Llama（原始）模型中 KV Caching 的潜在 Bug · Issue #25420 · huggingface/transformers：系统信息 transformers==4.31.0 huggingface_hub 版本：0.15.1 平台：Linux-5.15.0-78-generic-x86_64-with-glibc2.35 Python 版本：3.10.12 运行于 iPython ?: 否运行于 notebook ?: 否 R...
Llama（原始）模型中 KV Caching 的潜在 Bug · Issue #25420 · huggingface/transformers：系统信息 transformers==4.31.0 huggingface_hub 版本：0.15.1 平台：Linux-5.15.0-78-generic-x86_64-with-glibc2.35 Python 版本：3.10.12 运行于 iPython ?: 否运行于 notebook ?: 否 R...

Eleuther ▷ #research (534 条消息🔥🔥🔥):

探索 MoE 与 Dense 模型容量：关于混合专家模型 (MoE) 与稠密 (Dense) Transformer 模型的相对性能和优势正在进行辩论，重点在于在不受 VRAM 限制时 MoE 是否绝对更好，以及在相同的参数预算下 Dense 模型是否实际上表现更好。
Token Unigram 模型异常：一篇新讨论的论文提出，对于在没有分词（Tokenization）的高阶马尔可夫过程上训练的 Transformer，它们无法学习到正确的分布，而是默认退化为 Unigram 模型。
使用 CLIP 进行 Deep Dreaming：有人对将 Deep Dream 技术应用于 CLIP 模型产生了好奇，并建议 CLIP 的因果语言模型 (Causal LM) 结构可能会为图像的“梦境化”提供有意义的损失信号。
重新审视 DenseNet 的实用性：最近的一篇论文让 DenseNets 重新焕发生机，认为过时的训练方法和设计元素之前可能掩盖了它们的潜力，现在理论上已经超越了 Swin Transformer 和 ConvNeXt 等现代架构。
语言模型的研究空白：参与者讨论了专门比较 Dense 和 MoE Transformer 学习内容的平衡研究的缺乏，强调了在性能指标之外理解模型差异方面的空白。

提及的链接：

Rho-1: Not All Tokens Are What You Need：以往的语言模型预训练方法对所有训练 Token 统一应用下一个 Token 预测损失。挑战这一常规，我们认为“语料库中的并非所有 Token 都是平等的...”
Streamlit：未找到描述
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer：神经网络吸收信息的能力受其参数数量的限制。条件计算（Conditional computation），即网络的一部分针对每个样本按需激活，已被提出...
Probing the 3D Awareness of Visual Foundation Models：大规模预训练的最新进展产生了具有强大能力的视觉基础模型。最近的模型不仅可以将其训练任务泛化到任意图像，它们的内部...
Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic：视觉语言模型 (VLMs) 在精心策划的网络数据集上经过了数千个 GPU 小时的训练。近年来，随着多项研究开发出相关策略，数据策展（Data curation）变得日益重要...
Google Colaboratory：未找到描述
Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck：语言建模的最新进展在于在极大规模的网络挖掘文本语料库上预训练高度参数化的神经网络。此类模型的训练和推理在实践中可能成本高昂...
DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs：本文复兴了密集连接卷积网络 (DenseNets)，并揭示了其在主流 ResNet 风格架构之上被低估的有效性。我们认为 DenseNets 的潜力曾被忽视...
Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning：我们介绍了 CM3Leon（发音为 "Chameleon"），这是一种检索增强的、基于 Token 的、仅解码器（decoder-only）的多模态语言模型，能够生成和填充文本及图像。CM3Leon 使用了...
Diffusion Models for Video Generation：扩散模型在过去几年中在图像合成方面展示了强大的结果。现在研究界已经开始致力于一项更艰巨的任务——将其用于视频生成。这项任务本身...
You Need to Pay Better Attention：我们引入了三种新的注意力机制，它们在效率和学习能力方面优于标准的多头注意力（multi-head attention），从而提高了性能和更广泛的部署能力...
Toward a Theory of Tokenization in LLMs：虽然已有大量研究试图绕过语言建模中的分词（tokenization）过程（Clark et al., 2022; Xue et al., 2022），但目前的共识是，它是必要的初始步骤...
Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent：不完美的得分匹配（score-matching）会导致扩散模型的训练分布与采样分布之间出现偏差。由于生成过程的递归性质，前几步的错误会产生...
Predictive coding - Wikipedia：未找到描述
Tweet from Birchlabs (@Birchlabs)：扩散模型难以生成训练分布之外尺寸的图像，在 #stablediffusion 中通过从平均值外推增加 self-attn softmax 分母，在无需重新训练的情况下解决了此问题...
Tweet from Birchlabs (@Birchlabs)：我将 #stablediffusion 变成了一个声音转图像模型，这里它描绘了 fire.wav。这基本上是 CLIP 引导，只不过使用了 Meta 新的 ImageBind 模型。它接受文本、图像、音频、视频、深度...
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models：大语言模型 (LLMs) 发展中的一个关键进步是混合专家 (MoE) LLMs 的出现。与传统的 LLMs 相比，MoE LLMs 可以通过...实现更高的性能。
Which transform
哪种架构适合我的数据？Self-attention 中的词汇瓶颈：在自然语言处理领域取得成功后，Transformer 架构正成为许多领域的行业标准。在新型模态上部署它们的一个障碍是...
我想要一部小屏 Android 手机！：你是否觉得所有的 Android 手机都太大了？我同意！我们需要共同努力，说服厂商再次制造小屏 Android 手机。
Discord - 与朋友和社区聊天的新方式：Discord 是通过语音、视频和文字进行交流的最简单方式。聊天、聚会，并与你的朋友和社区保持紧密联系。
通过反转来理解深度图像表示：从 SIFT 和视觉词袋（Bag of Visual Words）到卷积神经网络（CNNs），图像表示几乎是任何图像理解系统的关键组成部分。然而，我们对它们的理解...
应用联邦学习：改进 Google 键盘查询建议：Federated learning 是一种分布式的机器学习形式，其训练数据和模型训练都是去中心化的。在本文中，我们在一个商业化的、全球规模的系统中使用 Federated learning...
来自 fly51fly (@fly51fly) 的推文：[CL] 迈向 LLMs 中的 Tokenization 理论 N Rajaraman, J Jiao, K Ramchandran [加州大学伯克利分校] (2024) https://arxiv.org/abs/2404.08335 - 在某些简单的高阶马尔可夫数据上训练的 Transformers...
Bait Thats Bait GIF - Bait Thats Bait Tom Hardy - 发现并分享 GIF：点击查看 GIF
基于 RoPE 外推的 Scaling Laws：基于 Rotary Position Embedding 的大语言模型（LLMs）的外推能力是目前备受关注的话题。解决外推问题的主流方法是...
diffusers-play/src/helpers/attention/logit_scaling_attn.py 在 27f359c121fc5d82f305927c4f5e8a3ad963440e · Birch-san/diffusers-play：用于探索 k-diffusion 和 diffusers 的仓库，并可在其中测试对上述软件包的更改。- Birch-san/diffusers-play
TrueGrad/truegrad/optim.py 在 main · ClashLuke/TrueGrad：TrueGrad 优化器的 PyTorch 接口。通过在 GitHub 上创建账号来为 ClashLuke/TrueGrad 的开发做出贡献。
diffusers-play/src/helpers/attention/wacky_softmax_attn.py 在 27f359c121fc5d82f305927c4f5e8a3ad963440e · Birch-san/diffusers-play：用于探索 k-diffusion 和 diffusers 的仓库，并可在其中测试对上述软件包的更改。- Birch-san/diffusers-play
语言模型的物理学：第 3.3 部分，知识容量 Scaling Laws：Scaling laws 描述了语言模型规模与其能力之间的关系。与以往通过 loss 或基准测试评估模型能力的研究不同，我们估计了...
改写网络：一种计算和数据高效的语言建模方案：大语言模型是在海量的网络抓取数据上训练的，这些数据通常是无结构的、有噪声的且表述不清。目前的 Scaling laws 表明，从这类数据中学习需要大量的...
未找到标题：未找到描述
残差网络中的深度超参数迁移：动力学与 Scaling Limit：深度学习中超参数调优的成本随着模型规模的增加而上升，这促使从业者寻找使用较小网络作为代理的新调优方法。其中一个提议是使用 $μ$P...
Mufan Li - 作为深度随机过程的无限深度神经网络：摘要：神经网络研究的最新进展主要集中在无限宽度架构上，然而建模中固有的复杂性...
Jelly 系列：立即从 Unihertz 购买 Jelly 系列智能手机及其配件！这些运行 Android 系统的掌上智能手机可以...
FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis：未找到描述
Обзор исследований：未找到描述

来自 Pratyush Maini (@pratyushmaini) 的推文

提及的链接：

来自 Stephanie Chan (@scychan_brains) 的推文：我们的新论文深入探讨了 Transformer In-Context Learning (ICL) 的电路和训练动态 🥳 关键亮点包括 1️⃣ 一个新的开源 JAX 工具包，可通过以下方式实现因果干预...
光遗传学 - 维基百科：未找到描述
Patchscopes：一个用于检查语言模型隐藏表示的统一框架：未找到描述

GitHub - EQ-bench/EQ-Bench: A benchmark for emotional intelligence in large language models

提及的链接：

Cohere int8 & binary Embeddings - 将您的向量数据库扩展到大型数据集：Cohere Embed 现在原生支持 int8 和 binary embeddings，以降低内存成本。
carsonpoole/binary-embeddings · Hugging Face：未找到描述
special_relativity_greg_egan.md：GitHub Gist：即时分享代码、笔记和代码片段。
GitHub - S4mpl3r/youtube2blog：使用 Mixtral 8x7b 和 Deepgram 将任何 Youtube 视频转换为精美的博客文章。：使用 Mixtral 8x7b 和 Deepgram 将任何 Youtube 视频转换为精美的博客文章。- S4mpl3r/youtube2blog
GitHub - carsonpo/ffvec：通过在 GitHub 上创建账户来为 carsonpo/ffvec 的开发做出贡献。

提及的链接:

Vals.ai: LegalBench：使用开源数据集 LegalBench，我们对 13 个流行的开源和闭源模型进行了基准测试，以查看它们在法律任务上的表现。随着新模型的发展，该基准测试将保持更新。
来自 Shintaro Inoue / 井上信多郎 (@shin0805__) 的推文：发布了再现《铃芽之旅》中出现的三脚椅子的机器人设计，以及通过强化学习生成步态的论文！下周将在美国举行的 RoboSoft2024 上发表！网站 - https://shin0805.github.io/chair-type-tripedal-robot/ #すずめの戸締まり
GitHub - nus-apr/auto-code-rover：一个具备项目结构感知能力的自主软件工程师，旨在实现自主程序改进。在完整的 SWE-bench 中解决了 15.95% 的任务。：一个具备项目结构感知能力的自主软件工程师，旨在实现自主程序改进。在完整的 SWE-bench 中解决了 15.95% 的任务 - nus-apr/auto-code-rover
如何使用 InfraNodus 通过知识图谱提示 LLM：在本视频中，我将向您展示如何使用 https://infranodus.com 通过知识图谱提示 LLM。我将以 GPT-4 为例，但您也可以使用...

提到的链接：

未找到标题：未找到描述
SemanticAutocomplete 演示：未找到描述
未找到标题：未找到描述
来自 Omar Sanseviero (@osanseviero) 的推文：欢迎 Zephyr 141B 加入 Hugging Chat🔥 🎉一个 Mixtral-8x22B 微调版本 ⚡️使用 TGI 实现超快生成 🤗完全开源（从数据到 UI） https://huggingface.co/chat/models/HuggingFaceH4/zeph...
Vezora/Mistral-22B-v0.1 · Hugging Face：未找到描述
来自 Andrej Karpathy (@karpathy) 的推文：@dsmilkov 没有关注但听起来很有趣。“训练一个带有样本权重的线性模型来进行类别平衡”...？
ORA：未找到描述
Mixtral8x22b-Inst-FW - Poe：来自 Mistral AI 的 Mixtral 8x22B Mixture-of-Experts 基础模型，由 Fireworks.AI 进行微调。https://fireworks.ai/models/fireworks/mixtral-8x22b-instruct-preview
HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1 - HuggingChat：在 HuggingChat 中使用 HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1
你可能不知道如何进行提示工程（Prompt Engineering），让我来教你。：你可能不知道如何进行提示工程（Prompt Engineering），让我来教你。 - blog.md
你可能不知道如何进行提示工程（Prompt Engineering），让我来教你。：你可能不知道如何进行提示工程（Prompt Engineering），让我来教你。 - blog.md
axolotl/examples/mistral/mixtral-8x22b-qlora-fsdp.yml at main · OpenAccess-AI-Collective/axolotl：尽管向 axolotl 提问。通过在 GitHub 上创建账号为 OpenAccess-AI-Collective/axolotl 的开发做出贡献。

提及的链接：

Google Colaboratory：未找到描述
Polaris: A Safety-focused LLM Constellation Architecture for Healthcare：我们开发了 Polaris，这是首个专注于安全的 LLM 星座架构，用于实时患者-AI 医疗对话。与以往专注于问答等任务的医疗 LLM 工作不同，我们的工作...
Reka Core: Our Frontier Class Multimodal Language Model — Reka AI：发布 Reka Core，我们的前沿级多模态语言模型！
ilsp/Meltemi-7B-v1 · Hugging Face：未找到描述
Reddit - Dive into anything：未找到描述
Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca：大型语言模型 (LLMs)，如 ChatGPT 和 GPT-4，极大地改变了自然语言处理研究，并展示了迈向通用人工智能 (AGI) 的巨大进步。
ghost-x/ghost-7b-v0.9.1 · Hugging Face：未找到描述
Reddit - Dive into anything：未找到描述
Reka Core showcase：展示 Reka Core 与其他主要模型响应的定性示例
GitHub - erikbern/ann-benchmarks: Benchmarks of approximate nearest neighbor libraries in Python：Python 中近似最近邻库的基准测试 - erikbern/ann-benchmarks

RAG/Long Context Reasoning Dataset

提到的链接：

AI Dungeon：未找到描述
Interstellar Cost GIF - Interstellar Cost Little Maneuver - Discover & Share GIFs：点击查看 GIF
Lbl Laidbackllamas GIF - Lbl Laidbackllamas Laid-back-llamas - Discover & Share GIFs：点击查看 GIF

提到的链接：

Mixtral 8x22B by mistralai | OpenRouter：Mixtral 8x22B 是来自 Mistral AI 的大规模语言模型。它由 8 个专家组成，每个专家有 220 亿参数，每个 token 每次使用 2 个专家。它通过 [X](https://twitter...) 发布。
Zephyr 141B-A35B by huggingfaceh4 | OpenRouter：Zephyr 141B-A35B 是一个混合专家模型 (MoE)，总参数为 141B，激活参数为 35B。在公开可用的合成数据集混合物上进行了微调。它是...的指令微调版本。
Fireworks Mixtral 8x22B Instruct OH by fireworks | OpenRouter：来自 Mistral 的最新混合专家模型的第一个指令微调版本：[Mixtral 8x22B](/models/mistralai/mixtral-8x22b)。该模型在来自 [OpenHermes](https://hu...) 的约 1 万条条目上进行了微调。

Rubik's AI - AI research assistant & Search Engine

提到的链接：

未找到标题：未找到描述
WizardLM 2：社交媒体描述标签
fireworks-ai/mixtral-8x22b-instruct-oh · Hugging Face：未找到描述
Chat Completions：未找到描述
Inference Models：未找到描述
TheBloke/Falcon-180B-Chat-GPTQ · Hugging Face：未找到描述
Reddit - Dive into anything：未找到描述
Function calling：未找到描述
在 Deep Infra 端点使用 Function Calling | ML 模型 | Deep Infra：查找有关使用 Deep Infra 端点进行函数调用的信息、集成等！

提到的链接：

未找到标题: 未找到描述
来自 LDJ (@ldjconfirmed) 的推文: Zephyr-ORPO-141B 是我见过的第一个能始终正确解释 JEPA 缩写含义的模型。我甚至尝试了 Claude-3-Opus，它也失败了，甚至最新的 GPT-4-turbo...
pmysl/c4ai-command-r-plus-GGUF · Hugging Face: 未找到描述
missionsquad-web: 未找到描述
Reddit - 深入探索: 未找到描述
全文搜索 - Hugging Face: 未找到描述
dranger003/c4ai-command-r-plus-iMat.GGUF 在 main 分支: 未找到描述
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention: 未找到描述
未找到标题: 未找到描述
未找到标题: 未找到描述
Kingston 64GB DDR5 4800 ECC Registered DIMM 内存 - Newegg.com: 购买 Kingston 64GB DDR5 4800 ECC Registered DIMM 内存，享受快速发货和顶级客户服务。一旦了解，就选 Newegg！
Kingston 64GB DDR5 4800 ECC Registered DIMM 内存 - Newegg.com: 购买 Kingston 64GB DDR5 4800 ECC Registered DIMM 内存，享受快速发货和顶级客户服务。一旦了解，就选 Newegg！
新版 Mixtral 8x22b 测试 - Mistral 的新旗舰 MoE 开源模型: Mistral AI 刚刚发布了 Mixtral 8x22，这是一个在基准测试中名列前茅的大型 MoE 开源模型。让我们来测试一下！订阅我的时事通讯以获取定期 AI 更新 👇...
GitHub - rjmacarthy/twinny: 最务实的本地托管（或 API 托管）AI 代码补全 Visual Studio Code 插件，类似于 GitHub Copilot 但 100% 免费！: 最务实的本地托管（或 API 托管）AI 代码补全 Visual Studio Code 插件，类似于 GitHub Copilot 但 100% 免费！ - rjmacarthy/twinny

提到的链接:

microsoft/wavecoder-ultra-6.7b · Hugging Face: 未找到描述
Command R+: 未找到描述
TheBloke/MythoMax-L2-13B-GGUF · Hugging Face: 未找到描述
DavidAU (David Belton): 未找到描述
Reddit - Dive into anything: 未找到描述
DavidAU (David Belton): 未找到描述

提到的链接：

Reddit - 深入探索一切：未找到描述
GitHub - tinygrad/open-gpu-kernel-modules: 支持 P2P 的 NVIDIA Linux 开源 GPU：支持 P2P 的 NVIDIA Linux 开源 GPU。通过在 GitHub 上创建账号来为 tinygrad/open-gpu-kernel-modules 的开发做出贡献。

提到的链接：

missionsquad-web：未找到描述
GitHub - lludlow/autogen-studio: Autogen studio docker：Autogen studio docker。通过在 GitHub 上创建账号来为 lludlow/autogen-studio 的开发做出贡献。

提到的链接：

John C. Lilly - 维基百科：未找到描述
Blade Hack：Blade Hack 是一项全球性活动，专注于 Prompt Hacking，涉及以创造性方式探索大型语言模型 (LLM) 并与之交互。Blade 将面向初学者和个人...
Language in Our Brain: The Origins of a Uniquely Human Capacity：对语言的神经生物学基础进行了全面阐述，认为物种特有的大脑差异可能是人类能力的核心。

提到的链接：

Scarlet: 未找到描述
来自 lmsys.org (@lmsysorg) 的推文: 🔥令人兴奋的消息 —— GPT-4-Turbo 刚刚再次夺回了 Arena 排行榜的第一名！哇！我们收集了来自不同领域的 8,000 多张用户投票，并观察到其强大的代码编写和推理能力...
来自 Dan Siroker (@dsiroker) 的推文: 介绍 Limitless：一款由你所见、所言、所闻驱动的个性化 AI。它包含 Web 应用、Mac 应用、Windows 应用以及一款可穿戴设备。0:06 揭晓 0:48 为什么选择 Limitless？ 1:39 演示 3:05 Pendant 4:2...
使用 Datasette 和 GPT-4 Turbo 从非结构化文本和图像中提取数据 - Datasette Cloud: 具有明确定义的列和行的干净数据是一件美好的事情 —— 它是任何数据分析或可视化项目的理想起点。遗憾的是，世界上有趣的原始数据中只有极少部分...
来自 Aidan Gomez (@aidangomez) 的推文: 很高兴宣布 Compass Beta 版，这是一个由新型 Embedding 模型 Compass 驱动的、功能非常强大的多维度数据搜索系统。我们正在寻求帮助来对该模型的能力进行压力测试...
来自 Harry Stebbings (@HarryStebbings) 的推文: 10 年前，我在卧室里开始了 20VC，没有资金也没有人脉。今天，我们发布了与 @sama、@bradlightcap 以及历史上增长最快的公司 @OpenAI 合作的 20VC。互联网的力量...
LLM 定价 - 比较大语言模型成本和价格: 未找到描述
来自 undefined 的推文: 未找到描述
计算机内存中位翻转（Bit Flips）的原因是什么？: 未找到描述
Bloomberg - 你是机器人吗？: 未找到描述
来自 Fuzhao Xue (@XueFz) 的推文: @mejia_petit @fouriergalois 哦当然，没关系。这项工作太旧了哈哈。它被会议拒绝了很多次，我放弃再次提交了，呵呵。但老实说，我确实认为这是一个重要的...
来自 Reka (@RekaAILabs) 的推文: 随 Core 一起，我们发布了一份技术报告，详细介绍了 Reka 模型的训练、架构、数据和评估。https://publications.reka.ai/reka-core-tech-report.pdf
它来了：由 OpenAI Startup Fund 支持的全新 Descript: 我们正在发布全新版本的 Descript，并宣布 OpenAI Startup Fund 将领投我们 5000 万美元的 C 轮融资。
来自 Imran Chaudhri (@imranchaudhri) 的推文: 我们花了一些时间才走到今天。既然我们已经到了这里，我们迫不及待地想向大家展示 @Humane 未来几年的样子 —— 令人兴奋的时刻！
与 LLM 的非确定性达成和解: 深入研究稀疏 MoE 和 GPU 周期，才意识到非确定性并不新鲜，新鲜的是语言。
来自 Christian Keil (@pronounced_kyle) 的推文: @TouristShaun 是的，这时机选得相当狠，老实说我挺喜欢 Dan 这么做的哈哈
来自 Wing Lian (caseus) (@winglian) 的推文: 好了，在等待 axolotl ai 域名转移期间，我们先用点老办法。在这里注册以获取私测版的访问权限。https://docs.google.com/forms/d/e/1FAIpQLSd0uWGZOwviIZPoOPOAaFDv3edcCXEIG...
来自 Reka (@RekaAILabs) 的推文: 认识一下 Reka Core，这是我们迄今为止最优秀、最强大的多模态语言模型。🔮 过去几个月我们一直忙于训练这个模型，很高兴终于发布了！💪 Core 拥有许多能力，而且...
来自 Yi Tay (@YiTayML) 的推文: 这是一段疯狂的旅程。我们只有 20 个人，在过去的时间里消耗了数千张 H100 几个月了，我们很高兴终于能与世界分享这个！💪 我们在创办 Rek 时的一个目标是...
检索增强生成研究：2017-2024：RAG 文献综述，包括：REPLUG, Fusion-in-Decoder, KNN-LM, RETRO, FLARE, Knowledge Graph Fusion-in-Decoder, SILO, WebGPT, Toolformer, Self-RAG, GRIT 等
Lilian Weng (@lilianweng) 的推文：🎨 花了一些时间重构了 2021 年关于 Diffusion Model 的文章，并增加了新内容：https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ ⬇️ ⬇️ ⬇️ 🎬 接着是另一篇关于 Diffusion Video 的短文...
浮点运算 - 维基百科：未找到描述
GitHub - MahmoudAshraf97/whisper-diarization：基于 OpenAI Whisper 的带说话人日志（Speaker Diarization）的自动语音识别：基于 OpenAI Whisper 的带说话人日志的自动语音识别 - MahmoudAshraf97/whisper-diarization
xAI (@xai) 的推文：👀 https://x.ai/blog/grok-1.5v
LLM 办公时间，老人们的抱怨第三部分。：未找到描述
Reddit - 深入探索一切：未找到描述
与 Descript 相比性能极慢 · openai/whisper · Discussion #1515：了解到 Descript 和 Whisper 针对的是不同的人群，我想知道为什么转录同一段音频的速度差异如此之大。（30 分钟的 wav 文件...
Collin (@CollinCornwell) 的推文：智能手机非常不可思议，我每天都在用，很高兴我们的第一代产品甚至有机会挑战一个价值 4571.8 亿美元的行业。如果我们能占领其中的 1%，我们就赢了 @Humane，如果我们继续...
LLM 办公时间，老人们的抱怨第三部分。：未找到描述
GitHub - hrishioa/lumentis：AI 驱动的一键式从转录文本和文本生成综合文档。：AI 驱动的一键式从转录文本和文本生成综合文档。 - hrishioa/lumentis
dimfeld/sbbp 中的 sbbp/api/src/jobs/download.rs：本该是一篇博客文章。通过在 GitHub 上创建账号来为 dimfeld/sbbp 的开发做出贡献。
我评测过的最差产品... 目前为止：Humane AI pin 很... 糟糕。几乎没有人应该买它。至少现在是。MKBHD 周边：http://shop.MKBHD.com 我目前使用的技术产品：https://www.amazon.com/shop/MKBHDIn...
GitHub - VikParuchuri/surya：支持 90 多种语言的 OCR、布局分析和行检测：支持 90 多种语言的 OCR、布局分析和行检测 - VikParuchuri/surya
介绍 LlamaCloud 和 LlamaParse — LlamaIndex，LLM 应用的数据框架：LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型（LLM）。
GitHub - run-llama/llama_parse：为优化 RAG 解析文件：为优化 RAG 解析文件。通过在 GitHub 上创建账号来为 run-llama/llama_parse 的开发做出贡献。
Harry Stebbings (@HarryStebbings) 的推文：10 年前，我在卧室里创办了 20VC，没有钱也没有人脉。今天，我们发布了与 @sama、@bradlightcap 以及历史上增长最快的公司 @OpenAI 合作的 20VC。互联网的力量...
Sam Altman & Brad Lightcap：哪些公司会被 OpenAI 碾压？ | E1140：Sam Altman 是 OpenAI 的 CEO，该公司的使命是确保通用人工智能（AGI）造福全人类。OpenAI 是最快... 的公司之一。

提及的链接:

XetHub | You Don't Need a Vector Database : 你不需要仅仅为了托管用于 RAG（检索增强生成）的文档嵌入而使用向量数据库。在这篇文章中，我将探索使用经典信息检索实现的更简单方案...
YARN | | | Video clips by quotes | 6a6e70a4 | 紗: Yarn 是通过台词搜索视频片段的最佳工具。找到你想分享的电视剧、电影或音乐视频中的确切时刻。轻松前进或后退以获取...
Scalar and binary quantization for pgvector vector search and storage | Jonathan Katz : 未找到描述
AI In Action: Weekly Jam Sessions: 2024 主题、日期、主持人、资源，GenAI 的 UI/UX 模式，1/26/2024，nuvic...
the Arena Online presents: Friday Night Firefight, weekend warrior edition: 社区新推出的 SDK，专为你提供的早期访问权限。我相信为能够执行代码的 LLM 构思酷炫的用途并不难。

提及的链接:

kapa.ai - 面向开发者产品的 ChatGPT: kapa.ai 让面向开发者的公司能够轻松地为其社区构建基于 LLM 的支持和入职机器人。OpenAI、Airbyte 和 NextJS 的团队使用 kapa 来提升他们的开发者体验...
Discord Bot | kapa.ai 文档: Kapa 可以作为机器人安装在您的 Discord 服务器上。该机器人允许用户使用自然语言询问有关您产品的问题，这改善了开发者体验，因为开发者可以快速找到答案...
kapa.ai - 技术问题的即时 AI 解答: kapa.ai 让面向开发者的公司能够轻松地为其社区构建基于 LLM 的支持和入职机器人。OpenAI、Airbyte 和 NextJS 的团队使用 kapa 来提升他们的开发者体验...

提及的链接:

文档：未找到描述
标准：未找到描述
文档：未找到描述
文档：未找到描述
函数 | Modular 文档：Mojo `fn` 和 `def` 函数简介。
Modular：什么是循环展开？如何使用 @unroll 加速 Mojo🔥 代码：我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：什么是循环展开？如何使用 @unroll 加速 Mojo🔥 代码
函数 | Modular 文档：Mojo `fn` 和 `def` 函数简介。
Mojo🔥 模块 | Modular 文档：Mojo 标准库中所有模块的列表。
mojo/proposals/inferred-parameters.md (main 分支) · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
llama2.mojo/llama2.mojo (master 分支) · tairov/llama2.mojo：仅用一个纯 🔥 文件实现 Llama 2 推理。通过在 GitHub 上创建账号来为 tairov/llama2.mojo 的开发做出贡献。
mojo/proposals/lifetimes-and-provenance.md (main 分支) · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
TkLineNums/tklinenums/tklinenums.py (main 分支) · Moosems/TkLineNums：一个用于 tkinter 的简单行号组件。通过在 GitHub 上创建账号来为 Moosems/TkLineNums 的开发做出贡献。
Issues · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
Issues · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
mojo/stdlib/src/builtin/io.mojo (abf2d97e88a2cc97e3029a578d2824895a88d0c1) · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
条件 Trait 一致性 · Issue #2308 · modularml/mojo：审查 Mojo 的优先级。我已经阅读了路线图和优先级，并认为此请求符合优先级。你的请求是什么？我认为如果能有条件的...
Chris Lattner：编程与 AI 的未来 | Lex Fridman 播客 #381：Chris Lattner 是一位传奇的软件和硬件工程师，曾在 Apple、Tesla、Google、SiFive 和 Modular AI 领导项目，包括 S... 的开发。
[功能请求] 实现联合类型（而非名义枚举）· Issue #43 · modularml/mojo：摘要。我建议考虑在 Mojo 中添加 TypeScript 风格的联合类型，而不是 Rust 风格的名义枚举。鉴于 Mojo 计划扩展 Python，这种方法似乎会很有效...

提到的链接：

GitHub - dorjeduck/llm.mojo: port of Andrjey Karpathy's llm.c to Mojo：Andrjey Karpathy 的 llm.c 到 Mojo 的移植版。通过在 GitHub 上创建账户为 dorjeduck/llm.mojo 的开发做出贡献。
GitHub - tairov/lamatune: LLama implementations benchmarking framework：LLama 实现基准测试框架。通过在 GitHub 上创建账户为 tairov/lamatune 的开发做出贡献。

提到的链接：

Modular: Blog：在 Modular，我们相信优秀的文化是创建伟大公司的关键。我们工作的三个支柱是：打造用户喜爱的产品、赋能于人、以及成为一支不可思议的团队。
Modular: Row-major vs. column-major matrices: a performance analysis in Mojo and NumPy：我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：行主序 vs. 列主序矩阵：Mojo 和 NumPy 中的性能分析。
devrel-extras/blogs/mojo-row-major-column-major/row_col_mojo.ipynb at main · modularml/devrel-extras：包含开发者关系博客文章、视频和研讨会的辅助材料 - modularml/devrel-extras

提到的链接：

Issues · modularml/mojo：Mojo 编程语言。通过在 GitHub 上创建账户为 modularml/mojo 开发做出贡献。
mojo-unicode/to_lower.mojo at main · mzaks/mojo-unicode：通过在 GitHub 上创建账户为 mzaks/mojo-unicode 开发做出贡献。
'index' Dialect - MLIR：未找到描述
MLIR Language Reference - MLIR：未找到描述
[mojo-stdlib] Create `Array` type by lsh · Pull Request #2294 · modularml/mojo：此 PR 创建了一个接受任何 CollectionElement 而不仅仅是 AnyRegType 的 Array 类型。另请参阅 Discord 上的此讨论。

提到的链接：

The One Billion Row Challenge in CUDA: from 17m to 17s：未找到描述
来自 tiny corp (@__tinygrad__) 的推文：我们通过修改 NVIDIA 驱动程序为 4090 添加了 P2P 支持。适用于 tinygrad 和 nccl (又名 torch)。在 tinybox green 上实现 14.7 GB/s AllReduce！

提到的链接：

stable_fast_llama_example.py：GitHub Gist：即时分享代码、笔记和片段。
论文页面 - RecurrentGemma: Moving Past Transformers for Efficient Open Language Models：未找到描述
stable-fast/src/sfast/jit/passes/__init__.py：NVIDIA GPU 上针对 HuggingFace Diffusers 的最佳推理性能优化框架。
hqq_hgemm_benchmark.py：GitHub Gist：即时分享代码、笔记和片段。
QuaRot/quarot/kernels/gemm.cu：QuaRot 的代码，实现大语言模型的端到端 4-bit 推理。

提到的链接：

hqq/hqq/core/bitpack.py at master · mobiusml/hqq: Half-Quadratic Quantization (HQQ) 的官方实现 - mobiusml/hqq
Add rtx-4070-ti-super-2x benchmarks by morgangiraud · Pull Request #1 · cuda-mode/p2p-perf: 暂无描述
GitHub - tinygrad/open-gpu-kernel-modules: NVIDIA Linux open GPU with P2P support: 支持 P2P 的 NVIDIA Linux 开源 GPU 内核模块。通过在 GitHub 上创建账号来为 tinygrad/open-gpu-kernel-modules 做出贡献。
GitHub - cuda-mode/p2p-perf: measuring peer-to-peer (p2p) transfer on different cuda devices: 在不同 CUDA 设备上测量点对点 (P2P) 传输 - cuda-mode/p2p-perf
Update TP examples to align with tutorials by wanchaol · Pull Request #1243 · pytorch/examples: 如题
examples/distributed at main · pytorch/examples: 一系列围绕 PyTorch 在视觉、文本、强化学习等领域的示例 - pytorch/examples

Just enough CUDA to be dangerous

Courses

提到的链接：

pytorch/torch/_inductor/config.py at main · pytorch/pytorch：Python 中具有强 GPU 加速功能的 Tensor 和动态神经网络 - pytorch/pytorch
pytorch/torch/_inductor/config.py at main · pytorch/pytorch：Python 中具有强 GPU 加速功能的 Tensor 和动态神经网络 - pytorch/pytorch

Ring Attention Explained | Coconut Mode

kache (dingboard.com) (@yacineMTB) 的推文

HQQ 4 bit llama 2 7b · pytorch-labs/gpt-fast@551af74

提到的链接:

cuda-samples/Samples/3_CUDA_Features/cudaCompressibleMemory/compMalloc.cpp at master · NVIDIA/cuda-samples: CUDA 开发者示例，展示了 CUDA Toolkit 中的各项功能 - NVIDIA/cuda-samples
use cublaslt and optionally tf32, which fuses bias by karpathy · Pull Request #98 · karpathy/llm.c: cc @ademeure，目前这只是 matmul 的 cuBLASLt 版本，包含一系列细微改动。例如，我尝试移除了全局变量和设置，按照惯例我更倾向于尽可能地...
Include the online softmax CPU code and a fully parallelized GPU kernal by lancerts · Pull Request #79 · karpathy/llm.c: 包含 online softmax CPU 代码（源自论文 Online normalizer calculation for softmax）。其原生移植到 GPU kernel 5（用于教学对比）。包含完全并行的 kernel ...

提及的链接:

HF Reading Group: Mobile ALOHA: 我们邀请了 Mobile ALOHA 的一位作者在 Hugging Face Discord 的 #reading-group 频道进行讨论。遗憾的是，其他人的声音没有被录制下来...
GitHub - cuda-mode/lectures: Material for cuda-mode lectures: cuda-mode 讲座资料。通过在 GitHub 上创建账号为 cuda-mode/lectures 的开发做出贡献。

_ 提到的链接：

Grok-1.5 Vision Preview：未找到描述
加入 Cohere 社区 Discord 服务器！：Cohere 社区服务器。欢迎来聊聊 Cohere API、LLMs、Generative AI 以及相关的一切。 | 15435 名成员
Chat API 参考 - Cohere 文档：未找到描述
社区 - 计算机视觉：频道：#computer-vision 共同负责人：Benedict - Discord 上的 @Harkhymadhe，Twitter 上的 @Arkhymadhe 物流：发生时间：每月第二个星期二上午 8 点 PT 欢迎添加论文/文章...
Connectors 简介 - Cohere 文档：未找到描述
登录 | Cohere：Cohere 通过一个易于使用的 API 提供对先进 Large Language Models 和 NLP 工具的访问。免费开始使用。
<a href="https://en.wikipedia.org/wiki/Special:Search?search=glucose",">glucose", - 搜索结果 - 维基百科</a>：未找到描述
AWS Marketplace: Cohere：未找到描述
登录 | Cohere：Cohere 通过一个易于使用的 API 提供对先进 Large Language Models 和 NLP 工具的访问。免费开始使用。
登录 | Cohere：Cohere 通过一个易于使用的 API 提供对先进 Large Language Models 和 NLP 工具的访问。免费开始使用。

提到的链接：

Rubik's AI - AI 研究助手与搜索引擎：未找到描述
Quantfino - 强大的 AI 驱动金融之家：Quantfino 是由 LLM 驱动和 Langchain 辅助的金融分析平台。

提到的链接：

加入我们的 Cloud HD Video Meeting：Zoom 是现代企业视频通信的领导者，拥有简单、可靠的云平台，适用于移动端、桌面端和会议室系统的视频和音频会议、聊天及网络研讨会。Zoom ...
Mission One Smile：未找到描述
Rubik's AI - AI 研究助手与搜索引擎：未找到描述
GitHub - leejet/stable-diffusion.cpp: 纯 C/C++ 实现的 Stable Diffusion：纯 C/C++ 实现的 Stable Diffusion。通过在 GitHub 上创建账户，为 leejet/stable-diffusion.cpp 的开发做出贡献。
Hugging Face 状态：未找到描述

解码 CLIP 的概念：由 Matthew Brems 撰写的一篇博客，旨在简化对 OpenAI 的 CLIP 模型的理解，涵盖了它是什么、其工作原理及其重要性。这个来自 OpenAI 的多模态模型通过同时在图像和文本上进行训练，为计算机视觉提供了一种新颖的方法。CLIP 模型初学者指南。
应用 Zero-Shot 分类：在学习了使用 bart-large-mnli 模型进行 Zero-Shot 分类后，创建了一个演示，展示了其在分类来自 thebasemesh.com 的 3D 资产方面的应用，该网站是一个为创意项目提供基础网格（base meshes）的免费资源。在 YouTube 上观看探索过程。
使用 Podman 实现高性价比 AI：分享了一个演示视频，展示了如何使用 Podman 构建容器化的生成式 AI 应用程序，这为本地和云端部署提供了一种具有成本效益的替代方案。该技术承诺在部署选项方面提供控制权和选择权。YouTube 上的教程。

提到的链接：

Safetensors：未找到描述
CLIP 模型初学者指南 - KDnuggets：CLIP 是计算机视觉和自然语言处理之间的桥梁。我在这里通过一篇通俗易懂且有趣的文章为你解析 CLIP！在这篇博文中，我将介绍 CLIP 是什么，CLIP 如何工作...
如何尝试 CLIP：OpenAI 的 Zero-Shot 图像分类器：本周早些时候，OpenAI 在计算机视觉领域投下了一枚炸弹。
Podman Build - 适用于注重成本的 AI：关于 @podman 如何构建可部署到本地或你首选云提供商的容器化生成式 AI 应用程序的快速演示。这种选择是 ...
THE BASE MESH：一个包含 1000 多个基础网格的公共库。所有资产均为真实世界比例且已展开（unwrapped）！100% 免费。CC0 许可。
机器学习：使用 bart-large-mlni 的 Zero-Shot 分类演示：#machinelearning #zeroshotclassification #naturallanguageinference #transferlearning Zero-Shot Classification https://huggingface.co/tasks/zero-shot-classific...

提及的链接：

Neural networks：学习神经网络和反向传播（backpropagation）的基础知识，这是现代世界最重要的算法之一。
Papers with Code - MagnaTagATune Dataset：MagnaTagATune 数据集包含 25,863 个音乐片段。每个片段是长达 29 秒的摘录，属于 5223 首歌曲、445 张专辑和 230 位艺术家之一。这些片段涵盖了广泛的流派，如 Cl...
‎Gemini - Cours Data Science, IA et GenAI：由 Gemini 创建
GitHub - j20232/btorch: btorch 包含用于 Blender 的简单 PyTorch 实用工具。：btorch 包含用于 Blender 的简单 PyTorch 实用工具。 - j20232/btorch
GitHub - cheind/pytorch-blender: :sweat_drops: 将 Blender 无缝、分布式、实时地集成到 PyTorch 数据流水线中：:sweat_drops: 将 Blender 无缝、分布式、实时地集成到 PyTorch 数据流水线中 - cheind/pytorch-blender
GitHub - QUVA-Lab/e2cnn: 用于 PyTorch 的 E(2)-等变 CNN 库：用于 PyTorch 的 E(2)-等变 CNN 库。通过在 GitHub 上创建账户为 QUVA-Lab/e2cnn 的开发做出贡献。

提及的链接：

Text Generation：未找到描述
EnterpriseAIHub - VishalMysore 创建的 Hugging Face Space：未找到描述
GitHub - Merkoba/Meltdown: llama.cpp 和 ChatGPT 的界面：llama.cpp 和 ChatGPT 的界面。通过在 GitHub 上创建账户来为 Merkoba/Meltdown 的开发做出贡献。
GitHub - EdoPedrocchi/RicercaMente: 旨在通过多年来发表的科学研究追溯数据科学历史的开源项目：旨在通过多年来发表的科学研究追溯数据科学历史的开源项目 - EdoPedrocchi/RicercaMente
What if...?: 通过反事实引导减轻 Large Multimodal Models 中的幻觉效应：本文提出了一种增强 Large Multimodal Models (LMMs) 处理幻觉效应可靠性的方法，幻觉效应是指模型生成错误或无关的响应。在无需额外...
GitHub - IVY-LVLM/Counterfactual-Inception：通过在 GitHub 上创建账户来为 IVY-LVLM/Counterfactual-Inception 的开发做出贡献。
基于部分卷积的遥感地表温度数据深度插值：地表温度 (LST) 是各种任务的重要资源。这些数据大多免费，结合了高空间和时间分辨率，以及在...范围内可靠的数据收集。

LLM Reading Group (3月5日, 19日; 4月2日, 16日, 30日; 5月14日; 28日)

提及的链接:

GitHub - EdoPedrocchi/RicercaMente: 旨在通过多年来发表的科学研究追溯 Data Science 历史的开源项目: 旨在通过多年来发表的科学研究追溯 Data Science 历史的开源项目 - EdoPedrocchi/RicercaMente
GitHub - AstraBert/awesome-tiny-sd: 基于 segmind/small-sd 的小型 Stable Diffusion 聊天机器人，根据文本提示生成图像。: 基于 segmind/small-sd 的小型 Stable Diffusion 聊天机器人，根据文本提示生成图像。 - AstraBert/awesome-tiny-sd
Awesome Tiny Sd - as-cle-bert 提供的 Hugging Face Space: 暂无描述
Grounding DINO: 暂无描述
Transformers-Tutorials/Grounding DINO/Inference_with_Grounding_DINO_for_zero_shot_object_detection.ipynb at master · NielsRogge/Transformers-Tutorials: 该仓库包含我使用 HuggingFace 的 Transformers 库制作的演示。 - NielsRogge/Transformers-Tutorials

GitHub - EdoPedrocchi/RicercaMente: Open source project that aims to trace the history of data science through scientific research published over the years

提到的链接：

AI Demos：未找到描述
ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback：为了增强文本到图像扩散模型的可控性，现有的努力（如 ControlNet）引入了基于图像的条件控制。在本文中，我们揭示了现有方法仍然……
error in using stable cascade with long prompt · Issue #7672 · huggingface/diffusers：你好，当我在 Stable Cascade 模型中使用长 Prompt 时，收到以下错误。Token 索引序列长度大于该模型指定的序列长度（165 > 77）。运行此脚本……

提到的链接：

（此处链接已在正文中提及或为重复引用）

提到的链接

ORA：未找到描述
Tango - a Hugging Face Space by declare-lab：未找到描述
World’s First Initial Model Offering (IMO) for OpenLM：OpenLM 是一个高性能语言建模 (LM) 仓库，旨在促进对中型 LM 的研究。
Issues · huggingface/diffusers：🤗 Diffusers：用于 PyTorch 和 FLAX 中图像和音频生成的尖端扩散模型。- Issues · huggingface/diffusers
GitHub - huggingface/parler-tts: Inference and training library for high-quality TTS models.：高质量 TTS 模型的推理和训练库。- huggingface/parler-tts
Adobe’s ‘Ethical’ Firefly AI Was Trained on Midjourney Images：(Bloomberg) -- 当 Adobe Inc. 去年发布其 Firefly 图像生成软件时，该公司表示该人工智能模型主要是在其拥有数亿数据的数据库 Adobe Stock 上训练的...
Why I'm Leaving My Company Immediately (Stability AI) w/ Emad Mostaque | EP #93：在本集中，Peter 和 Emad 讨论了 Emad 辞去 Stability AI CEO 职务、他迈向去中心化 AI 的下一步，以及为什么这件事如此紧迫...

提到的链接：

来自 Reka (@RekaAILabs) 的推文：随着 Core 的发布，我们还发布了一份技术报告，详细介绍了 Reka 模型的训练、架构、数据和评估。https://publications.reka.ai/reka-core-tech-report.pdf
Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies：本文研究了对比语言-图像预训练 (CLIP) 在缩减至有限计算预算时的性能。我们从数据、架构三个维度探讨了 CLIP...
Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models：Guidance 是从图像生成 Diffusion Models 中提取最佳性能的关键技术。传统上，在整个采样链中应用恒定的 Guidance 权重...
Pipeline callbacks：未找到描述
Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and Scaling Limit：深度学习中超参数调优的成本随着模型规模的增加而上升，促使从业者寻找使用小型网络作为代理的新调优方法。其中一项提议使用了 $μ$P p...
Reddit - Dive into anything：未找到描述
Issues · huggingface/diffusers：🤗 Diffusers：用于 PyTorch 和 FLAX 图像和音频生成的 SOTA Diffusion Models。- Issues · huggingface/diffusers

提及的链接：

Discord - 与朋友和社区聊天的新方式: Discord 是通过语音、视频和文字进行交流的最简单方式。聊天、聚会，并与你的朋友和社区保持紧密联系。
Flashcardfy - 带有个性化反馈的 AI 闪卡生成器: 通过提供个性化反馈的 AI 生成闪卡，让学习更快速、更智能。
守护 AI：LLM 保护的策略与解决方案 | LLM Security: 在这份全面指南中探索 LLM 的安全挑战和解决方案。我们涵盖了潜在风险、控制机制以及用于更安全 LLM 应用的最新工具。
Miniconda — Anaconda 文档: 未找到描述
自定义 Agent | 🦜️🔗 Langchain: 本 Notebook 介绍了如何创建你自己的自定义 Agent。
Agents | 🦜️🔗 Langchain: 当我们知道针对任何用户输入所需的特定工具使用顺序时，Chain 非常有用。但对于某些用例，工具的使用次数取决于输入。
快速入门 | 🦜️🔗 Langchain: 在本指南中，我们将介绍创建调用 Tool 的 Chain 和 Agent 的基本方法。Tool 可以是任何东西——API、函数、数据库等。Tool 允许我们扩展功能...
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
ChatAnthropic | 🦜️🔗 LangChain: 本 Notebook 涵盖了如何开始使用 Anthropic 聊天模型。
自定义 Agent | 🦜️🔗 Langchain: 本 Notebook 介绍了如何创建你自己的自定义 Agent。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
Blade Hack: Blade Hack 是一个专注于 Prompt Hacking 的全球性活动，涉及以创意方式探索大型语言模型 (LLM) 并与之交互。Blade 将面向初学者和个人...
LCEL 的优势 | 🦜️🔗 LangChain: 我们建议阅读 LCEL [入门]
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
使用 Vectara 对文档进行聊天 | 🦜️🔗 LangChain: 设置}
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号为 langchain-ai/langchain 的开发做出贡献。
使用本地模型 | 🦜️🔗 LangChain: 诸如此类项目的流行度
Docusaurus | 🦜️🔗 LangChain: Docusaurus 是一个静态网站生成器，它

Discord - 与朋友和社区聊天的新方式

Links mentioned:

Discord - 与朋友和社区交流的新方式：Discord 是通过语音、视频和文本进行交流的最简单方式。聊天、聚会，并与您的朋友和社区保持紧密联系。
使用 Vertex AI Agent builder 实现 router chain：在此视频中，我展示了如何使用 Vertex AI Agent builder 构建 route chain。
GPT AI - Chat GPT-4 & Vision - Google Play 上的应用：未找到描述
GitHub - ItzCrazyKns/Perplexica: Perplexica 是一款 AI 驱动的搜索引擎。它是 Perplexity AI 的开源替代方案：Perplexica 是一款 AI 驱动的搜索引擎。它是 Perplexity AI 的开源替代方案 - ItzCrazyKns/Perplexica
Vertex AI Agent Builder：在此视频中，我展示了如何使用 Vertex AI Agent builder
Vertex AI Agent Builder 与 Slack 的集成：此视频展示了如何将 Vertex AI Agent Builder 与 Slack 集成
GitHub - ItzCrazyKns/Perplexica: Perplexica 是一款 AI 驱动的搜索引擎。它是 Perplexity AI 的开源替代方案：Perplexica 是一款 AI 驱动的搜索引擎。它是 Perplexity AI 的开源替代方案 - ItzCrazyKns/Perplexica
如何在本地构建 RAG 系统：使用 Ollama 和带有 PgVector 的 PostgreSQL 在本地构建 RAG 系统
GitHub - VinciGit00/Scrapegraph-ai: 基于 AI 的 Python 爬虫：基于 AI 的 Python 爬虫。通过在 GitHub 上创建账号来为 VinciGit00/Scrapegraph-ai 的开发做出贡献。
GitHub - ossirytk/llama-cpp-chat-memory: 具有 Chroma 向量存储记忆的本地角色 AI 聊天机器人，以及一些用于为 Chroma 处理文档的脚本：具有 Chroma 向量存储记忆的本地角色 AI 聊天机器人，以及一些用于为 Chroma 处理文档的脚本 - ossirytk/llama-cpp-chat-memory
Blade Hack：Blade Hack 是一项专注于 prompt hacking 的全球性活动，涉及以创意方式探索和与 Large Language Models (LLMs) 互动。Blade 将面向初学者和个人...
GitHub - luiscib3r/LLM-Projects: 专注于探索和构建 Large Language Models (LLMs) 应用的项目集合。：专注于探索和构建 Large Language Models (LLMs) 应用的项目集合。 - luiscib3r/LLM-Projects
未找到标题：未找到描述
GitHub - tevslin/meeting-reporter: 人机 AI 协作，根据会议记录或转录生成会议新闻报道：人机 AI 协作，根据会议记录或转录生成会议新闻报道 - tevslin/meeting-reporter

提到的链接：

Discord - 与朋友和社区聊天的新方式：Discord 是通过语音、视频和文字进行交流的最简单方式。与您的朋友和社区聊天、聚会并保持紧密联系。
但是，Chunking 是如何完成的？使用 LangChain 的分块基础：为了创建更好的 RAG 应用，你需要了解如何对文档进行拆分或分块（chunk），以便在提问时保留内容。在本视频中，我...
Blade Hack：Blade Hack 是一项专注于 prompt hacking 的全球性活动，涉及以创造性的方式探索 LLM 并与之交互。Blade 将面向初学者和个人...

提到的链接：

Udio | 《沙丘》百老汇音乐剧，BobbyB 创作的曲目、原声带：制作你的音乐
fireworks-ai/mixtral-8x22b-instruct-oh · Hugging Face：未找到描述
Lewis Tunstall (@_lewtun) 的推文：我们在 Zephyr 141B 和全量训练中遇到了完全相同的问题 - 该问题与 DeepSpeed 中的这个 PR 有关：https://github.com/microsoft/DeepSpeed/pull/5008 如果你正在使用 HF trainer,...
Rank-Stabilized LoRA: Unlocking the Potential of LoRA Fine-Tuning：未找到描述
GitHub - tinygrad/open-gpu-kernel-modules: NVIDIA Linux open GPU with P2P support：支持 P2P 的 NVIDIA Linux 开源 GPU 内核模块。通过在 GitHub 上创建账号来为 tinygrad/open-gpu-kernel-modules 的开发做出贡献。
Mixtral-Model-Expert-Extractor/main.py at main · MeNicefellow/Mixtral-Model-Expert-Extractor：通过在 GitHub 上创建账号来为 MeNicefellow/Mixtral-Model-Expert-Extractor 的开发做出贡献。
shahdivax 编写的多节点分布式微调指南 · Pull Request #1477 · OpenAccess-AI-Collective/axolotl：标题：多节点设置分布式微调指南。描述：此 PR 引入了使用 Axolotl 和 Accelerate 设置分布式微调环境的全面指南。该...
winglian 提交的 Mixtral 修复 20240124 · Pull Request #1192 · OpenAccess-AI-Collective/axolotl：描述：针对 Mixtral 与 Zero3 的各种修复，需要 DeepSpeed 0.13.1
NVIDIA GPU Baseboard 8 H200 Liquid Cool - 935-24287-0040-000：图形引擎：H200 总线：NVIDIA NVLink 显存大小：1128 GB 显存类型：HBM3e 理论性能：536 TFLOP
T480 待售 | eBay：未找到描述

GitHub - astramind-ai/Mixture-of-depths: Unofficial implementation for the paper "Mixture-of-Depths: Dynamically allocating compute in transformer-based language models"

提及的链接：

LR-AI-Labs/vbd-llama2-7B-50b-chat · Hugging Face：未找到描述
mergekit_config.yml · froggeric/WestLake-10.7B-v2 at main：未找到描述
HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1 · Prompt format：未找到描述
axolotl/examples at main · OpenAccess-AI-Collective/axolotl：欢迎提出 Axolotl 问题。通过在 GitHub 上创建账号为 OpenAccess-AI-Collective/axolotl 的开发做出贡献。
CERC-AAI Lab - Continued Pretraining Blog：基础模型的持续学习：CL-FoMo 系列 9.6B 和 410M LLM
axolotl/docs/config.qmd at main · OpenAccess-AI-Collective/axolotl：欢迎提出 Axolotl 问题。通过在 GitHub 上创建账号为 OpenAccess-AI-Collective/axolotl 的开发做出贡献。

OpenAccess-AI-Collective/axolotl | Phorm AI Code Search

Links mentioned:

OpenAccess-AI-Collective/axolotl | Phorm AI Code Search: Understand code, faster.
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search: Understand code, faster.
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search: Understand code, faster.
transformers/src/transformers/utils/hub.py at main · huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. - huggingface/transformers
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search: Understand code, faster.
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search: Understand code, faster.

提到的链接：

Polaris 机器人手机：http://www.plasticpals.com - Flower Robotics 受 KDDI 委托生产了这款可与手机配合使用的机器人，旨在通过其...改善您的生活。
minamorl 提升 tiktoken 版本 · Pull Request #1204 · OpenInterpreter/open-interpreter：描述所做的更改：由于构建过程因某些原因损坏，提升了 tiktoken 的版本。此 PR 修复了损坏的过程。引用任何相关问题（例如 "Fixes #000"）：...

GitHub - rbrisita/01 at linux

Links mentioned:

AI Demos: 未找到描述
联系我们 — LlamaIndex，LLM 应用的数据框架: 如果您对 LlamaIndex 有任何疑问，请联系我们，我们将尽快安排通话。
未找到标题: 未找到描述
Github Repo Reader - LlamaIndex: 未找到描述
Vector Stores - LlamaIndex: 未找到描述
Settings - LlamaIndex: 未找到描述
解锁混合搜索的力量 - 深入探讨 Weaviate 的融合算法 | Weaviate - Vector Database: 混合搜索的工作原理，以及 Weaviate 融合算法的底层机制。
Qdrant Hybrid Search - LlamaIndex: 未找到描述
llama_index/llama-index-integrations/indices/llama-index-indices-managed-vectara/llama_index/indices/managed/vectara/retriever.py at 07cb4c07409b0e0584e2dee70db0d3169f877b8e · run-llama/llama_index: LlamaIndex 是适用于您的 LLM 应用的数据框架 - run-llama/llama_index
Query Pipeline Chat Engine - LlamaIndex: 未找到描述
GitHub - run-llama/llama_parse: 为优化 RAG 解析文件: 为优化 RAG 解析文件。通过在 GitHub 上创建账户为 run-llama/llama_parse 的开发做出贡献。
llama_parse/examples/demo_advanced.ipynb at main · run-llama/llama_parse: 为优化 RAG 解析文件。通过在 GitHub 上创建账户为 run-llama/llama_parse 的开发做出贡献。
Query Pipeline for Advanced Text-to-SQL - LlamaIndex: 未找到描述
LangChain Chat with Your Data: 在 2 小时内完成此指导项目。LangChain: Chat With Your Data 深入探讨了两个主要主题：(1) Retrieval Augmented Generation (RAG)，一种...
Query Pipeline Chat Engine - LlamaIndex: 未找到描述
围绕 Query Pipeline 构建 Agent - LlamaIndex: 未找到描述

hotfix: bump line count to 7500 for NV backend · tinygrad/tinygrad@e14a9bc

Google Colaboratory：未找到描述
tinygrad-notes/scheduleitem.md at main · mesozoic-egg/tinygrad-notes：tinygrad 教程。通过在 GitHub 上创建账号来为 mesozoic-egg/tinygrad-notes 的开发做出贡献。
tinygrad/docs at master · tinygrad/tinygrad：你喜欢 PyTorch？你喜欢 micrograd？你会爱上 tinygrad！❤️ - tinygrad/tinygrad
tinygrad-notes/codegen.md at main · mesozoic-egg/tinygrad-notes：tinygrad 教程。通过在 GitHub 上创建账号来为 mesozoic-egg/tinygrad-notes 的开发做出贡献。
GitHub - tinygrad/tinygrad: You like pytorch? You like micrograd? You love tinygrad! ❤️：你喜欢 PyTorch？你喜欢 micrograd？你会爱上 tinygrad！❤️ - GitHub - tinygrad/tinygrad: You like pytorch? You like micrograd? You love tinygrad! ❤️
GitHub - pranjaldatta/tinygrad: A simple, basic autodiff engine written to learn the inner workings of autograd!：一个为了学习 autograd 内部工作原理而编写的简单、基础的 autodiff 引擎！- pranjaldatta/tinygrad

提及的链接：

管理 collections：未找到描述
2024 Interconnects Artifacts - natolambert 的 Collection：未找到描述

[lecture artifacts] aligning open language models - a natolambert Collection

来自 Pliny the Prompter 🐉 (@elder_plinius) 的推文

提及的链接：

llama.cpp/convert.py at master · ggerganov/llama.cpp：C/C++ 环境下的 LLM 推理。通过在 GitHub 上创建账号为 ggerganov/llama.cpp 的开发做出贡献。
transformers/src/transformers/convert_slow_tokenizer.py at fe2d20d275d3591e2619a1adb0fa6ae272605208 · huggingface/transformers：🤗 Transformers：适用于 Pytorch、TensorFlow 和 JAX 的先进机器学习库。 - huggingface/transformers

Stable LM 2 1.6B Technical Report

提到的链接：

Burn：未找到描述
dzlab 通过 GitHub Actions 将容器发布到 Docker Hub · Pull Request #59 · Mozilla-Ocho/llamafile：在发布时使用 GitHub Actions 构建并将容器发布到 Docker Hub #29。为此，需要设置仓库机密（secrets）：DOCKER_HUB_USERNAME 和 DOCKER_HUB_ACCESS_TOKEN
jart 提升 CPU Prompt 评估速度 · Pull Request #6414 · ggerganov/llama.cpp：此更改将 llamafile 的 CPU 矩阵乘法内核上游化，从而提高了图像和 Prompt 的评估速度。首先，Q4_0 和 Q8_0 权重在 CPU 上的运行速度应提高约 40%。最大的...

Discord - 与朋友和社区交流的新方式

ajibawa-2023/Code-Jamba-v0.1 · Hugging Face

PasswordGPT

LLMs in Prod w/ Portkey, Flybridge VC, Noetica, LastMile · Luma

**多模态、多维度、多形态 AI**

AI Reddit 摘要

AI Twitter 摘要

AI Discord 摘要

PART 1: High level Discord summaries

Stability.ai (Stable Diffusion) Discord

Perplexity AI Discord

Unsloth AI (Daniel Han) Discord

Eleuther Discord

Nous Research AI Discord

OpenRouter (Alex Atallah) Discord

LM Studio Discord

OpenAI Discord

Latent Space Discord

Modular (Mojo 🔥) Discord

CUDA MODE Discord

Cohere Discord

HuggingFace Discord

LAION Discord

LangChain AI Discord

OpenAccess AI Collective (axolotl) Discord

OpenInterpreter Discord

LlamaIndex Discord

tinygrad (George Hotz) Discord

Interconnects (Nathan Lambert) Discord

LLM Perf Enthusiasts AI Discord

DiscoResearch Discord

Mozilla AI Discord

Alignment Lab AI Discord

AI21 Labs (Jamba) Discord

Datasette - LLM (@SimonW) Discord

Skunkworks AI Discord

PART 2: 频道详细摘要与链接

多模态、多维度、多形态 AI