他最初使用所有 SOTA 模型进行的尝试仅获得了 10% 的成功率。社区提交的方案达到了 56%。又过了一天，@futuristfrog 将成功率提升至 90% 以上。挑战总共持续了 48 小时。这是一个关于 GPT 能力的有趣教训，也再次提醒我们：在 2024 年 AGI 之前的 AI 时代，无法完成某事通常只是单纯的“水平问题”（skill issue）。

[TOC]

AI Reddit 回顾

涵盖 r/LocalLlama, r/machinelearning, r/openai, r/stablediffusion, r/ArtificialInteligence。评论抓取尚未实现，但即将推出。

技术进展与发布

Command R Plus (104B) 已适配 Ollama：在 /r/LocalLLaMA 中，Command R Plus (104B) 已通过 fork 版本的 llama.cpp 适配 Ollama，允许量化模型在 M2 Max 硬件上运行。
Command R+ 104B 的 GGUF 量化版发布：在 /r/LocalLLaMA 中，Dranger 在 Huggingface 上发布了 Command R+ 104B 从 1-bit 到 8-bit 的 GGUF 量化版本。
Streaming t2v 现已可用：在 /r/StableDiffusion 中，Streaming t2v 现已可用，允许使用 st2v GitHub 仓库生成更长的视频。
WD Tagger (v3) 新版本发布：在 /r/StableDiffusion 中，新版本的 WD Tagger (v3) 已发布，用于利用 WebUI 界面对数据集进行批量自动打标（captioning）。

技术与 Prompting

较冷门的 Prompting 技术产生发人深省的输出：在 /r/OpenAI 中，通过使用自打标签输出、生成式框架和实时自查等较冷门的 Prompting 技术，生成了发人深省的内容。
自我演进 System Prompt 的实验：在 /r/OpenAI 中，一项让 OpenAI API 在多次迭代中编写自己的 System Prompt 的实验导致了词藻日益华丽且宏大的措辞。
无 Prompt 扩图/局部重绘画布更新：在 /r/StableDiffusion 中，无 Prompt 扩图/局部重绘画布已更新，可在低端硬件上运行 ComfyUI 工作流。

问题与讨论

训练角色 LoRA 时图像构图的重要性：在 /r/StableDiffusion 中，有一场关于训练角色 LoRA 时图像构图的重要性，以及自动打标是否能充分捕捉细节的讨论。
Stable Diffusion 1.5 中最适合游戏角色的 Checkpoint：在 /r/StableDiffusion 中，有人询问在 Stable Diffusion 1.5 中生成视频游戏角色的最佳 Checkpoint。
5B 参数模型的稀缺性：在 /r/LocalLLaMA 中，有人询问为什么与 3B 和 7B 相比，5B 参数的模型如此之少。
准开源（Open-ish）许可证与对齐开源 AI 的激励机制：在 /r/LocalLLaMA 中，有一场关于准开源许可证以及需要哪些条款来对齐开源 AI 激励机制的讨论。

梗与幽默

关于跳舞动漫妹子与“写实”《使命召唤》的幽默帖子：在 /r/StableDiffusion 中，有一个幽默帖子吐槽跳舞的动漫妹子太多了，并配以一张“写实”的《使命召唤》图像作为反击。
关于 ChatGPT 与 Gemini 训练数据的笑话：在 /r/ProgrammerHumor 中，有一个笑话证实了 ChatGPT 是用 YouTuber 的数据训练的，而 Gemini 则不是。

AI Twitter 回顾

所有总结均由 Claude 3 Opus 完成，取 4 次运行中的最佳结果。我们正在使用 Haiku 进行聚类（clustering）和流程工程（flow engineering）。

AI 与机器人研究进展

AI 与机器人进展：@adcock_brett 分享了 AI 与机器人领域最重要的研究与开发的每周回顾，强调了该领域飞速发展的步伐。
传闻中 GPT-5 的能力：@bindureddy 报道称，OpenAI 即将推出的 GPT-5 模型传闻拥有极其强大的代码编写、推理和语言理解能力，超越了 Anthropic 的 Claude 3。
用于生成音乐视频的 Sora：@gdb 展示了 Sora，这是一款允许用户通过生成相应的音乐视频，来视觉化呈现歌曲一直以来“看起来”是什么样子的工具。
4-bit Mistral 7B 的高速性能：@awnihannun 在 M2 Ultra 芯片上运行 4-bit Mistral 7B 模型，达到了令人印象深刻的 103.5 tokens-per-second。
Many-shot jailbreaking 技术：@adcock_brett 分享了 Anthropic 研究人员发现的一种名为 “many-shot jailbreaking” 的技术，该技术可以通过利用扩展的上下文窗口（context windows）来规避大语言模型的安全护栏。

AI Agent 与机器人

构建 AI Agent 的复杂性：@bindureddy 指出，构建 AI Agent 的工作中只有 10% 与 LLM 和推理有关，而剩下的 90% 涉及代码、数据、内存、评估和监控等繁重工作。
OpenAI 的计划与机器人领域中的 LLM：@adcock_brett 概述了 OpenAI 的计划，并讨论了为什么大语言模型对机器人应用至关重要。
可靠的基于 LM 的 Agent 的关键因素：@sarahcat21 强调，有针对性的预训练和接口设计对于构建基于大语言模型的可靠 Agent 至关重要。
编程 Agent 的增长：@mbusigin 强调了编程 Agent 在开发和采用方面的爆发式增长。
Figure-01 人形机器人：@adcock_brett 分享了 Figure-01 机电人形机器人的图像。

LLM 进展与能力

Grok 2.0 传闻性能：@bindureddy 报道称，传闻 Grok 2.0 是继 Anthropic 的 Claude Opus 之后第二个在性能上超越 OpenAI GPT-4 的模型，这对 Grok 和 X 来说将是一个重大成就。
Claude 3 Opus 表现优于 GPT-4：@Teknium1 和 @bindureddy 指出，Anthropic 的 Claude 3 Opus 模型在某些任务上的表现优于 GPT-4。
新模型发布：@osanseviero 宣布发布 Cohere Command R+、Google Gemma Instruct 1.1 以及 Qwen 1.5 32B 模型系列。

检索增强生成 (RAG) 架构

使用 LangChain 和 Yahoo Finance 构建金融 Agent：@llama_index 展示了如何使用 LangChain 和 Yahoo Finance 构建金融 Agent，涵盖了资产负债表、损益表、现金流量和投资建议等股票分析功能。
使用 LlamaIndex 构建多文档 Agent：@llama_index 和 @jerryjliu0 展示了如何使用 LlamaIndex 将文档视为子 Agent，进行语义搜索和摘要。
RAG 的 Agent 化扩展：@jerryjliu0 提出了一种检索增强生成的 Agent 化扩展，将文档视为工具和 Agent，以实现超越固定分块（chunks）的动态交互。
为 RAG 提取文档知识图谱：@llama_index 展示了如何使用 LlamaParse 提取结构化 Markdown，将其转换为文档图谱，并存储在 Neo4j 中，以进行高级查询并驱动 RAG 流水线。

迷因与幽默

超时设置成了秒而不是毫秒：@gdb 分享了一个幽默的梗图，关于不小心将超时时间设置为秒而不是毫秒。
相比 Shake Shack 更喜欢 In-N-Out：@adcock_brett 开玩笑说，在纽约生活过后，他更喜欢 In-N-Out 而不是 Shake Shack。
睡眠不足后的生物神经网络性能：@_jasonwei 幽默地将熬夜后的生物神经网络性能比作提示词（prompting）很差的 GPT-4 base。
承认 Claude 解决了问题的痛苦：@Teknium1 分享了一个梗图，关于不得不承认 Anthropic 的 Claude 模型解决了某个问题时的痛苦。
刷了 3 个月 LeetCode 却没找到工作：@jxnlco 分享了一个关于刷了 3 个月 LeetCode 却没找到工作的挫败感的梗图。

AI Discord 摘要

摘要之摘要的摘要

1. LLM 的量化与优化突破

QuaRot 实现了对 LLaMa2-70B 等大语言模型的端到端 4-bit 量化，在处理离群值的同时保持计算不变性，且性能损失极小。HQQ 也展示了与 gpt-fast 集成的 4-bit 量化成果，效果显著。
无调度优化（Schedule-Free Optimization）受到关注：Meta 为 AdamW 和 SGD 开发的 无调度优化器 已被集成到 Hugging Face 的 transformers 库中，这可能会彻底改变模型训练方式。讨论围绕 PyTorch 的 Schedule-Free Optimization 仓库以及 Aaron Defazio 发布的关于该主题的 Twitter 线程展开。
关于 torch.compile 的讨论集中在：它仅针对 CUDA 输入使用 Triton 内核、异步集合通信操作、DeepSpeed 集成，以及使用 tiny-cuda-nn 或 CUTLASS 进行潜在的 MLP 优化。

2. 扩展上下文长度与注意力机制

EasyContext 项目引入了内存优化和训练方案，通过在 8 张 A100 GPU 等适度硬件上使用 ring attention，将语言模型的上下文长度外推至 100 万 token。Zhang Peiyuan 的推文讨论了增加上下文窗口对训练吞吐量的影响。
Mixture-of-Depths 提出在固定预算内动态分配 Transformer 序列中的计算资源，在不牺牲灵活性的情况下提升效率。
讨论还涉及了 线性注意力（linear attention） 与经典注意力的对比、变长条纹注意力（variable length striped attention） 的实现，以及分布式计算场景下 ring attention 的速度与内存权衡。

3. 开源 AI 进展与社区参与

AMD 宣布开源 Radeon GPU 的微引擎调度器（MES）固件和文档，这符合社区欢迎的更广泛的开源 GPU 努力。(The Register 文章, AMD Radeon 推文)
PaperReplica GitHub 仓库 旨在通过社区贡献来复现 AI/ML 研究论文，促进知识共享和技能提升。
text-generation-inference (TGI) 的许可协议更改为 Apache 2，在项目完全开源后引发了贡献者的激增，凸显了像 Mistral 这样的开源生态系统的潜在经济效益。
Cohere 的 Command R+ 展示了对中古高地德语等古老语言令人印象深刻的翻译能力，表现优于 GPT-4 级别的模型，并燃起了开发者对其开源发布以推动参与的希望。

4. 多模态 AI 进展与应用

Aurora-M 项目根据美国关于 AI 的行政命令，推出了一个新的 155 亿参数开源多语言语言模型，展示了在 2 万亿训练 token 中，单语言安全对齐对跨语言的影响。
Unsloth AI 在使用 Chat GPT 和 Claude 等模型将图像准确转换为 HTML（同时保留颜色和边框）时面临挑战，引发了使用 ASCII 艺术作为替代方案的调侃建议。
BrushNet，一种结合了目标检测的 AI 图像修补（inpainting）新方法，正如教程视频所示，它承诺提供更高质量的结果。
LLaVA 视觉语言模型经历了一次新颖的“罗夏墨迹测试（Rorschach test）”，通过向其输入随机图像嵌入（embeddings）并分析其解读，详情见一篇博客文章。此外，专为边缘设备设计的紧凑型 nanoLLaVA 模型也已在 Hugging Face 上发布。

5. 杂项

Tinygrad 开发进展：回滚与集成：George Hotz 回滚了 tinygrad 中的命令队列，并正在使用 multidevicegraph 抽象将 内存调度器（memory scheduler） 直接与现有的调度器模型集成。为了帮助贡献者，官方分享了 TinyJit 教程和多 GPU 训练指南。
Jamba 模型为受限硬件提供替代方案：通过对专家权重进行 球面线性插值（Slerp），开发人员创建了 Jamba 架构的缩减版本，包括 29B 参数的 8xMoE 和 17.7B 参数的 4xMoE，从而实现在 4090 GPU 等更易获取的硬件上以 4-bit 精度进行微调。

第一部分：Discord 高层摘要

Perplexity AI Discord

iOS 用户试用新故事发现功能：Perplexity AI 正在 iOS 上试用一种创新的故事发现格式。鼓励用户通过指定频道反馈体验，并可在此处下载测试版应用 here。

AI 活动圆满结束：Perplexity AI Discord 活动落下帷幕，eun08000 和 codelicious 并列第一。获奖者将收到包含详情的私信。

Claude 3 Opus - 模型辩论：在服务器上，讨论围绕 Perplexity 实现的 Claude 3 Opus 模型与其他版本的差异展开，特别是在需要创造力的任务方面。

API 的奇特之处与疑问：用户注意到 Perplexity 的 API 与 Web 应用程序之间存在不一致，API 表现出更多的幻觉（hallucinations）；API 的默认模型与 Web 版本不同。建议 API 用户使用 ‘sonar-medium-online’ 模型，以紧密模拟非 Pro 用户通过 Web 应用访问的 Sonar 模型。

科技爱好者分享与学习：用户交流了从 AI 如何影响音乐产业到 Tesla 和 Apple 最新技术创新的各种话题。此外，一项关于 Perplexity AI 的案例研究强调，在 Amazon Web Services 的支持下，模型训练速度提升了 40%，展示了 Perplexity 对先进机器学习基础设施和技术的高效利用。

Nous Research AI Discord

AI Vision Models 的罗夏墨迹测试：LLaVA vision-language model 接受了一项新颖的“罗夏墨迹测试”，通过向其输入随机图像嵌入并分析其解读，详情见 blog post。此外，适用于边缘设备的紧凑型 nanoLLaVA model 已在 Hugging Face 上发布。
Claude 的记忆机制受到质疑：关于 Claude 是否在不同会话间保留信息，还是这种记忆表象仅源于概率建模，引发了技术讨论。工程师们辩论了当前模型在应对持久 context 挑战时的有效性。
Worldsim 的困扰与智慧：在遭受 DDoS 攻击后，有人提议为 Worldsim 建立登录系统以抵御未来威胁，并讨论了包含更多场景的“专业版”。同时，围绕类似于观察到的现实的潜在 AI 驱动模拟展开了哲学思考。
RAG 多样性的 Chunking 策略：有人建议使用 chunking script 为 RAG 预生成多样化的数据集，同时讨论了使用 Claude Opus 创建复杂的跨领域查询。关于数据来源的伦理问题也浮出水面，特别是使用来自勒索软件攻击的泄露文档，这与用于数据集策划的 RAPTOR 等聚类策略形成了对比。
GitHub 与 Hermes 的融合：一个 GitHub 仓库 VikParuchuri/marker 因其高精度的 PDF-to-markdown 转换功能而受到关注，详情见 GitHub - VikParuchuri/marker。此外，讨论集中在增强 Hermes-2-Pro-Mistral-7B 以通过 tools 配置执行函数，这一障碍与在各种 LLM 环境中进行全参数 finetuning 与 adapter training 所面临的挑战不相上下。
加拿大的 AI 雄心与企业级 LLM：从 Cohere 为企业推出的可扩展 LLM Command R+，到对加拿大争夺全球 AI 领导地位战略的见解，讨论扩展到了理解 SSL 证书、创建类似于 Google Image Search 的本地解决方案，以及理清过剩的 AI 研究与合成。

Stability.ai (Stable Diffusion) Discord

Stability Bot 离线：寻求图像生成服务的用户被引导检查机器人状态（由于宕机），并被推向其他服务器频道以获取更新和支持。
图像生成的质量追求：出现了比较本地模型输出与 Dreamstudio 输出的辩论，参与者推荐了开源 upscalers，并讨论了各种图像增强技术的有效性。
SD3 热度攀升：Stable Diffusion 3 (SD3) 有一个非正式的 2-4 周 ETA，引发了关于该模型预期改进和新功能的讨论。
LoRa 训练对话：关于 LoRa 训练的信息交流中，用户在寻求安装建议，并引用 GitHub 仓库以获取实用的训练方法。
用户界面升级：关于用户界面增强的讨论包括从 Automatic 1.1.1.1 迁移到 StableSwarm 的建议，重点关注易用性以及新用户的特性可访问性。

Unsloth AI (Daniel Han) Discord

HTML 转换令工程师头疼：AI 工程师讨论了当前语言模型（如 Chat GPT 和 Claude）在将图像准确转换为 HTML 方面的局限性，导致颜色保真度丢失和圆角边框失效。一项诙谐的提议建议使用 ASCII 艺术作为替代方案，这源于其诱导 AI 模型响应的能力，正如这篇 Ars Technica 文章所展示的那样。

Aurora-M 照亮可能性：一个拥有 155 亿参数的开源多语言模型 Aurora-M 被推出，并因其跨语言安全能力引起了社区关注，详见这篇论文。研究结果表明，一种语言的安全对齐可以对其他语言产生积极影响。

Jamba Juice 还是 Mamba Sluice？投资观点发生碰撞：工程师们辩论了对 AI21 Labs 的 Jamba 的投资，特别是考虑到 TechCrunch 报道的其近期 1.55 亿美元的融资。尽管模型的前期成本较高，但针对性模型微调的投资回报率（ROI）被揭示出来，呈现出乐观的前景。

AI 微调观点交汇与分歧：社区就微调方法进行了深入交流，提到了如 GGUF 等无监督微调技术，以及动态位置偏移（DPO）的优势。讨论了微调的具体策略以及应用 LoRA 等技术来提升性能。

私有 AI 托管热潮：数据隐私担忧促使成员将他们的 AI 项目托管在个人服务器上，并有独立使用 Hircoir TTS 等平台的案例。一些设想的未来计划包括整合广告，以利用不断增长的模型组合获利。

LM Studio Discord

提升你的模型性能：LM Studio 似乎领先于 oogabooga 和 Faraday 等替代方案，其 GUI 因更高质量的输出而赢得用户青睐。关于扩展的建议纷至沓来，特别是对文件读取支持以及文本转图像、文本转语音等模态的支持；这些功能正趋近于 Devin 已经提供的功能，旨在增强创造力和生产力。

大思想家，大模型：技术群体提倡处理重量级模型（如 104B 的 Command R+）的实力博弈，并建议为较旧但庞大的模型配备更强劲的硬件（如 Nvidia P40）。围绕 VRAM 的讨论延伸到了优化多 GPU 设置的策略，暗示使用 RTX 4060 Ti 和 GTX 1070 来分摊计算负载，并利用 Tesla P40 GPUs，尽管可能存在过时的 CUDA 问题。

模型流畅运行的喜悦：在 ROCM 和 ROCm Preview Beta 方面，关于 GPU 支持的讨论非常热烈，包括使用 AMD 的 RX 5000 和 6000 系列芯片。用户标记了 ROCm 0.2.19 Beta 上的 “exit 42” 错误，并围绕调试版本寻求解决方案，展现了社区协作精神。同时，关于 Intel Advanced Matrix Extensions (AMX) 的传闻引发了对 LM Studio 如何利用这种强大处理能力的猜测。

挖掘模型珍宝：公告中涌现出大量共享资源和模型，包括 Starling-LM 7B、c4ai command r v01 和 stable-code-instruct-3b 等。可访问性被放在首位，大家共同推动在 Hugging Face 上建立社区页面，最新的 GGUF quants 在那里大放异彩，吸引 AI 爱好者尝试 Google’s Gemma 1.1 2B 等产品，并关注即将推出的 7B 变体。

塑造视觉模型格局：一位成员询问关于训练 LLMs 以破译股市 OHLC 模式的问题，同时赞扬了 LM Studio 在视觉模型实现中的效用，这激发了探索技术与金融之间复杂交织如何通过 AI 优雅编排的火花。Hugging Face 上视觉模型的揭晓反映了社区随时准备捕捉并将这种概念美学转化为实际应用的积极态度。

HuggingFace Discord

Gradio 的 API Recorder 和 Chatbot UI 修复准备发布：Gradio 4.26.0 版本引入了 API Recorder，可将交互转换为代码，并解决了与页面加载时间和 Chatbot UI 崩溃相关的关键 Bug。更新详情见 Gradio Changelog。

对 LLM 的担忧日益增加：安全问题成为焦点，挑战 LLM 伦理限制的新方法“Crescendo”以及 Cohere 的 Command-R-plus 中的漏洞被曝光。同时，Mixture-of-Depths (Modes) 提案和 llamaindex 博客为模型效率和信息检索提供了创新解决方案。

NLP 社区在 SageMaker、PDF ChatGPT 需求及挑战中前行：社区讨论了在 SageMaker 上部署模型、为 PDF 定制 ChatGPT，并对 Gemini 1.5 的 10M 上下文窗口表示关注。寻求解决方案的开发者面临多 GPU 训练故障，并要求在使用 Hugging Face 库时提供 Token 计数信息。

蓬勃发展的 AI 贡献与对话库：HybridAGI 在 GitHub 上的神经符号行为编程欢迎同行评审，Hugging Face 读书小组将其集体智慧存档在 GitHub。PaperReplica 的开源邀请和支持 RAG 的 llamaindex 成为协作学习和资源共享的典范。

视觉及其他领域：计算机视觉频道的对话涉及 HuggingFace 作为模型库的效用、不同 Transformer 模型（如 XCLIP）的功效，并解决了使用 Hugging Face ‘datasets’ 库进行 parquet 文件操作的实时挑战。同时，征集将 Diffusion 模型应用于视频增强的资源，体现了该领域活跃的探索精神。

Modular (Mojo 🔥) Discord

Mojo 崛起：深入探讨特殊函数与 SICP 改编

Mojo 社区正在展现其技术实力，通过更新 Specials 软件包深入研究专门的 数学函数，并将著名的《计算机程序的构造和解释》（SICP）文本移植到 Mojo。用户现在可以在 Specials package 中找到数值精确的函数，如 exp 和 log，并通过 mojo-packages 等仓库参与协作算法和软件包共享。

MAX 与 AWS 结盟；开源文档驱动

Modular 宣布与 AWS 建立战略联盟，旨在将 MAX 与 AWS 服务集成，并在全球范围内扩展 AI 能力。Mojo 语言正准备加强协作，呼吁社区为 Mojo 标准库文档做出贡献。

Discord 动态：Python 互操作性与贡献 Mojo 的成长

Mojo 社区正积极讨论元编程能力、编译时求值复杂性以及 Reference 类型中的生命周期。他们正在通过实现基本函数来探索 Python 互操作性的路径，并邀请贡献者参与 GitHub 上的 “good first issues”，以 Mojo’s Changelog 和贡献指南作为起点。

Var vs. Let - Mojo 参数传奇

一次对话显示，虽然 let 可能已从 Mojo 中移除，但 var 仍保留用于延迟赋值的变量，详情见 Mojo Manual，为用户提供了更多知识。此外，将 Mojo 注入 Web 开发的努力正在汇聚，随着 lightbug_http 的推出，再次重申了 Mojo 作为综合性通用语言的地位。

Nightly 编年史：从 CPython 互操作到社区讨论

成员们正在庆祝 Mojo 中 CPython 互操作性的进展，并营造一个有利于贡献的环境，讨论 PR 中 signed-off commits 的最佳实践，并分享管理 nightly 构建和软件包更新的解决方案。这种积极的协作正在为未来的开源贡献铺平道路，GitHub 上已标明相关信息，包括关于 Mojo Standard Library 的预期讨论。

Mojo 创意连续体中的博客节拍与视频盛宴

Joy of Mojo 网站的发布强调了社区分享 Mojo 创意经验的承诺，通过 mojo-packages 等 GitHub 仓库以及关于 Mojo 的 Python 互操作性的启发性视频，进一步放大了这一影响，彰显了其动态演进。

Eleuther Discord

WikiText 的新主访问点：Stephen Merity 已在 Cloudflare R2 上重新托管了 WikiText，在提供更大数据集的同时保留了原始格式，这对于使用真实数据结构训练 language models 至关重要。
令人困惑的 Perplexity 分数：关于 GateLoop Transformer 作者报告的 perplexity 分数有效性引发了辩论，lucidrains 无法复现这些分数，从而引发了对结果复现和报告透明度的讨论。
对 Hugging Face 自动 Parquet 转换的沮丧：用户对 Hugging Face 将数据集自动转换为 parquet 格式表示不满，这可能导致混淆和问题（如处理 .raw 文件）；一种解决方法是使用 Git LFS 托管数据集。
文档的易逝性与对可复现性的强调：OpenAI 模型文档的波动（部分链接被删除）凸显了像存档页面这样可靠资源对 AI 研究社区一致性的重要性。同时，社区正推动可复现的数据格式，如将 WikiText 等数据集镜像到 Cloudflare R2 等平台。
优化器优化与 Zero-Shot 创新：讨论集中在 Schedule-Free 优化器及其估算最佳 learning rates 的能力，以及教 language models 使用 stream of search (SoS) 语言进行搜索的有趣方法。此外，language models 的涌现能力与训练期间接触长尾数据（long-tail data）之间的联系也是焦点话题，这对 zero-shot 任务表现具有深远影响。
GitHub Star 对 NSF 评审至关重要：nnsight 的 GitHub star 数量被一位 NSF 评审员强调为关注指标，说明了社区参与度对研究资助视角的非传统影响。
GPU 利用率与 BigBench 任务识别：通过使用 batch size=auto 分析 GPU 利用率，减少了评估时间，揭示了潜在的利用不足问题。成员们还理清了关于 BigBench 任务的困惑，建议使用 lm_eval —tasks list 验证任务变体。
CLI 命令难题与 Logit Bias 讨论：围绕 —predict_only CLI 命令问题以及 OpenAI 的 logit_bias 在单 token MCQA 任务中未按预期影响 logits 的技术讨论展开，引导开发者探索如 greedy_until 等替代方案。明确了 Temperature 设置及其对输出的影响，强调了正确设置 gen_kwargs 以实现预期模型行为的重要性。

OpenAI Discord

翻译大对决：GPT-4 vs DeepL：对比了 GPT-4 与 DeepL 的翻译能力，强调虽然 DeepL 在上下文语言翻译方面表现出色，但 GPT-4 有时在处理基础语境的细微差别时显得不足。
代码生成领域的 AI 模型对决：Opus 和 GPT-4 在代码生成任务中的出色表现获得赞赏，但与其他模型相比，GPT-4 在处理超长上下文时也显示出潜在问题。
解码 AI 意识：一场关于用 AI 模拟人类意识的活跃探索，将人类神经化学活动等同于 GPT 的编程机制，引发了关于意识起源及 AI 在其描绘中作用的辩论。
针对敏感内容的 Prompt Engineering：作者们讨论了如何绕过 ChatGPT 的内容政策，为具有创伤背景的角色开发背景故事，寻求以更微妙的方式在叙事中注入细腻、敏感的细节。
构建 AI 驱动的游戏：工程师建议利用 JSON 结构化游戏进度数据，同时讨论了如何打造无缝游戏体验，使底层代码对玩家保持隐藏的挑战。

OpenRouter (Alex Atallah) Discord

Claude 3 支持图像处理：Claude 3 模型已更新为多模态，现在支持图像输入，要求开发者相应地修改现有的代码库。

AI 回归经典：剪刀石头布：blust.ai 推出了一款新游戏，玩家可以挑战 ChatGPT 进行经典的剪刀石头布对决。

前端工具与热门模型备受关注：工程师们讨论了各种 OpenRouter API 前端，如 LibreChat、SillyTavern 和 Jan.ai。Command-R+ 已成为编程任务和土耳其语交互的首选模型，同时人们也对模型中的内容审查表示了担忧。

模型性能见解：对话强调了 Sonnet 在编程任务中优于 Opus，且 Claude 3 在 PDF 数据提取方面优于 Gemini Pro 1.5，这引发了一些对其效用的质疑。

模型效能指标引发争论：社区反映，仅基于使用统计数据的模型排名可能无法准确反映模型的价值，建议将支出或留存率作为潜在的替代衡量标准。

LlamaIndex Discord

加速 RAG 应用：Marker-Inc-Korea 推出了 AutoRAG，这是一个用于调优 RAG pipelines 以增强性能的自动化工具，详情见其推文。同时，create-llama 已发布，旨在简化全栈 RAG/Agent 应用的启动，详见其推文。

利用 AI 优化销售话术：最近的一场网络研讨会展示了一个使用 RAG 创建个性化销售邮件的新应用，弃用了硬编码模板，转而采用 LLM 驱动的方法，更多信息请查看推文。

深入文档探索：Andy Singal 介绍了能够处理跨多个源的复杂 QA 的多文档 Agent。目标是扩展此功能以处理更复杂的查询，分享于演示推文。

元数据助力文档查询：为了从多文档查询中获取页码和文档引用，请确保在索引之前包含这些元数据，以便在查询后检索详细的引用信息。

Azure 与 Embedding 时间的优化调整：参与者注意到 Azure 的 OpenAI 无法识别上下文的问题，并讨论了使用批处理方法来加快 Embedding 生成。关于 ReAct Agent 以及 “llama2” 和 “mistral” 等开源模型面临的挑战，更好的 Router 描述可能会提高模型路由性能。

OpenInterpreter Discord

Mistral 需要强大的硬件支持：Mistral 7B Instruct v0.2 被公认为性能卓越，但它对资源要求很高——预计至少需要分配 16GB RAM 并具备一定的 GPU 支持才能流畅运行。

Python 兼容性挑战：社区达成共识，建议坚持使用 Python <=3.10，以避免 TTS packages 的问题，并多次建议在依赖语音命令识别的设置中避免使用 Python 3.11.4。

呼吁更完善的文档：关于本地 Vision 模型的咨询以及强调 Open Interpreter’s cookbook 需要更全面示例和文档的呼声，揭示了目前尚待填补的空白。

本地模型：效率胜过高昂成本：GPT-4 的高昂成本引发了关于利用 Hermes 7B 和 Haiku 等本地模型的讨论——这些是虽然稍逊色但成本更低的替代方案，且能提供隐私保护和更低的运行成本。

硬件障碍与软件挫折：O1 社区报告了硬件问题，特别是外部按钮集成方面，以及在 Windows 上安装时的软件设置挑战；故障排除对话中涉及了使用 chocolatey、virtualenv 和特定 environment variables 的调整。

相关资源和对话贯穿整个社区，针对问题的直接参与正在 GitHub 等平台上进行跟踪。

LangChain AI Discord

GitHub 上的困扰：一位用户请求协助处理一个 Pull Request，该 PR 因与 “openapi-pydantic” 相关的 “module not found” 错误而失败，尽管该模块已包含在依赖项中。这突显了依赖管理（dependency management）是社区中一个显著的痛点。
无需强力 GPU 的微调技巧：关于在没有 GPU 的情况下训练和微调语言模型的咨询，引出了对 Google Colab 等工具的推荐，并提到 ludwig.ai 是可行的选择，这表明寻求高性价比计算资源的工程师对此领域非常感兴趣。
Artful AI 更新带来的视觉愿景：Artful AI 发布了新模型，包括 Dalle Creative、Anime Dream 和 Epic Realism，并在 Google Play Store 上架，引发了社区对不断发展的 AI 驱动图像生成领域的关注。
安全焦点：AISploit：在 GitHub 上发布的 AISploit 引起了关于利用 AI 进行攻防安全模拟（offensive security simulations）的讨论，标志着 AI 技术在网络安全应用中的战术转向。
TypeScript 和文本分块技术揭秘：分享的一个 TypeScript Gist 展示了如何使用 OpenAI 的句子嵌入（sentence embedding）服务将大文本分解为语义分块（semantic chunks），体现了社区在开发和分享增强文本处理工作流工具方面的积极参与。

LAION Discord

苹果的 AI 雄心备受审视：苹果因 Metal Performance Shaders (MPS) 和 torch compile 表现不佳而受到批评，尽管最近的合并旨在修复 PyTorch nightly 分支中的 MPS 问题。社区对 torch.compile 的体验各异，反映出苹果平台仍需持续优化。

版权难题：AI 使用受版权保护的内容创作衍生作品引发了法律辩论，共识是仅靠改写（paraphrasing）不足以避免侵权。社区预见到需要重大的法律变革来适应新的 AI 训练数据实践。

AI 作曲的和谐：关于 AI 生成音乐的讨论涉及 Suno 和 Nvidia 等公司，认可了其快速进步，但也预测了与音乐行业潜在的法律纠纷。成员们还注意到，与 AI 在音乐生成方面的飞跃相比，文本转语音（TTS）技术的进展不那么令人印象深刻。

AI 职业动态的变化：由于技术进步，自由职业中与 AI 相关的职业兴起，并引用了 Bloomberry 的分析 等资源。Stability AI 的 CosXL 模型 发布引发了关于模型训练中 EDM schedules 和 offset noise 有效性的对话。

AI 研究技术的新颖点：一篇关于 transformers 的新论文显示计算资源分配可以是动态的，DARE 的剪枝（pruning）技术暗示了语言模型的可保留能力，而 BrushNet 引入了增强的 AI inpainting。引用自 NeurIPS 论文的用于文本生成的 Latent diffusion 表明生成模型技术可能发生转变。

Latent Space Discord

GPT 模型应对 A::B 挑战：Victor Taelin 承认 GPT 结构确实可以处理某些问题解决任务，包括长期推理（long-term reasoning）。此前一名参与者利用 GPT 以接近 100% 的成功率解决了 A::B 问题，并赢得了 1 万美元奖金。Victor Taelin 关于该结果的声明已在网上发布。
斯坦福大学首推语言建模课程 CS336：斯坦福大学正在开设一门新课程 CS336，深入探讨语言建模的核心细节，包括关于 Transformers 和 LLMs 的见解，吸引了渴望课程录像发布的社区成员的极大关注。
Groq 计划颠覆 AI 硬件对手：由一位拥有非传统教育背景的创始人领导的 AI 硬件初创公司 Groq，目标是到明年超过所有现有推理能力提供商的总和，并声称与 NVIDIA 的产品相比，其开发者可以享受更低的推理成本和更快的硬件速度。
介绍 LangChain 的 Memory 服务：LangChain 最新的 alpha 版本带来了 Memory 服务，旨在通过自动压缩和精炼对话来升级聊天机器人的交互体验，并已发布快速入门资源。
AI 工具与知识管理中的同伴学习：工程师们交流了使用 AI 工具策划个人和组织知识的资源与策略，例如集成 Obsidian-Copilot 和 fabric，并讨论了开发集成功能以增强知识系统中的 ChatGPT 等工具。

OpenAccess AI Collective (axolotl) Discord

量化 DoRA 可用，LoRA 之舞：peft=0.10.0 的最新版本支持 量化 DoRA，促使建议更新 axolotl 的 requirements.txt（PEFT 发布说明）。来自 Facebook Research 的 高级优化器 现已集成到 Hugging Face 的 transformers 库中，Schedule-Free Learning 已开源，并为 ScheduleFreeAdamW 提供了 0.0025 的特定参数建议（Hugging Face PR #30079）。
模型生成故障：用户报告并讨论了在使用 fp16 的 微调 Mistral 7b 模型 生成过程中出现的错误，具体表现为在几次成功生成后出现 _queue.Empty。
Rotary 查询与分片见解：参数 "rope_theta": 10000.0 受到关注，这与 Rotary Positional Embedding 有关。同时，分享了 Mistral 的 FSDP 配置，并详细说明了应如何使用 MixtralSparseMoeBlock 类（mixtral-qlora-fsdp.yml）。
寻找 LISA 与配置：有关于文档中缺失 LISA 参数位置的疑问，随后通过发现 LISA 配置文件得到了解决。成员们还就 训练期间解冻新层 时如何处理优化器状态进行了技术讨论。
模型训练难题解决：社区解决了各种挑战，包括 使用原始文本训练、适配 Alpaca 指令集、区分 micro batch size 和 batch size，以及调整配置以禁用 checkpoint 和评估，或处理特殊 token。

Interconnects (Nathan Lambert) Discord

播客黄金机会：John Schulman 可能做客节目：Nathan Lambert 正在考虑邀请 John Schulman 参加播客，这一举动引起了成员们的兴奋。此外，text-generation-inference (TGI) 许可协议更改为 Apache 2，促使该开源项目的贡献者显著增加。

Memes 频道保持轻松氛围：memes 频道包含了关于无上下文目标的玩笑引用、体验改进以及雇佣状态确认，显示出成员之间随性、轻松的交流。

Open AI 权重辩论触动神经：#reads 频道对开源基础模型的社会影响进行了热烈讨论，重点关注安全阈值、监管可行性以及 AI 操纵社会进程的潜力。讨论的深入话题包括 Transformer 注意力机制的可视化分享，以及对未来强调验证而非生成的模型的推测。

用视觉化弥合知识鸿沟：#sp2024-history-of-open-alignment 频道讨论了寻找最先进模型的有效资源，如 lmsys 和 alpacaeval leaderboard。此外，还表达了通过视觉化对模型进行分类以更好地理解的意图，并分享了一个用于即将到来的对齐（alignment）演讲的实时文档（Google Slides 演示文稿）以及 Xeophon 编写的开源模型指南（综合电子表格）。

关于 AI 生成音乐的说明：Nathan 注意到 AI 音乐生成领域一个新竞争者的惊人质量，可能对 Suno AI 平台构成挑战。

CUDA MODE Discord

快速分词（Tokenization）：工程师们讨论了使用 Huggingface 的 fast tokenizer 为 c4-en 加速分词，探索了增加线程或利用性能更强的机器等选项。
开源 GPU：AMD 宣布开源其 Radeon GPU 的 Micro Engine Scheduler (MES) 固件，这一决定在社区内受到欢迎，并得到了 George Hotz 的 Tiny Corp 等实体的赞扬。（The Register 文章，AMD Radeon 推文）。
论文复现之路：一个用于复现 AI 和 ML 研究论文的开源仓库 PaperReplica GitHub Repo 正式亮相，邀请社区贡献和 GitHub star。
CUDA 难题与 Triton 策略：从在 Ubuntu 上搭建 CUDA 环境到赞赏提升 Triton 熟练度的库，成员们交流了技巧和困扰。特别值得一提的是，Andrej Karpathy 用 C 语言实现的一个精简 GPT-2 训练版本，因其无需 PyTorch 或 Python 的臃肿而具备的高效率而受到关注（GitHub）。
DeepSpeed 驶入快车道：对话围绕 DeepSpeed 的实际应用、与 Hugging Face 的 Accelerate 集成，以及即使在 zero stage 下的内存优化奇迹展开。此外，还提到 Triton kernel 的使用取决于 CUDA 设备输入，并分享了关于使用 cublas 或 tiny-cuda-nn 优化 Transformer MLP 的好奇心（tiny-cuda-nn 文档）。
LLM 的量子慰藉（Quantization）：提出了一种名为 QuaRot 的新型量化方法，能够有效地将 LLM 量化到 4 bits；同时一条启发性的推文暗示了无调度优化（schedule-free optimization），可能预示着将摆脱传统的学习率调度（learning rate schedules）（Twitter）。
困扰于 Triton 可视化：工程师们深入探讨了 Triton 代码可视化的挑战与机遇，从共享内存到 tensor 视图，从 CPU 结构到增强 JavaScript 交互性，标志着对更用户友好的调试工具的持续追求。
日历困惑已澄清：针对一次 ring attention 会议进行了小小的时区澄清，暗示了社区对知识和优化不懈追求的活力。
数字与神经元：精确量化方法的价值浮出水面，强调了准确 tensor 转换的重要性，以及利用 Triton 等工具实现的潜在性能提升，表明了对机器学习流水线效率的高度关注。

tinygrad (George Hotz) Discord

Tinygrad 的回撤：George Hotz 撤回了 tinygrad 中的命令队列（command queue），并选择将内存调度器（memory scheduler）直接集成到当前的调度器模型中。这种方法利用了已经存在的 multidevicegraph 抽象，详见此处。

显微镜下的 TinyJit：TinyJit 教程已发布，尽管可能包含不准确之处，特别是关于 apply_graph_to_jit 函数的部分，鼓励用户提交 Pull Request 进行修正：TinyJit 教程。

Tinygrad 学习资源扩展：一系列针对 tinygrad 贡献的教程和指南现已发布，重点关注多 GPU 训练等主题：多 GPU 训练指南。

Discord 角色反映贡献：George Hotz 重新设计了 tinygrad Discord 内部的角色，以更好地反映社区参与度和贡献水平，强化了协作价值和对他人时间的尊重。

揭开 MEC 固件之谜：关于 MEC 固件操作码（opcode）架构的讨论出现，推测涉及 RISC-V 和不同的指令集，揭示了潜在的 cbz 指令，并就 RISC-V ISA 的细微差别进行了包容性对话。

Mozilla AI Discord

扫描揭示 Llamafile 被误报：包括 llamafile-0.6.2.exe 和 llamafile-0.7 在内的 llamafile 版本被杀毒软件标记为恶意软件；建议向相应的杀毒软件公司提交申诉表作为补救措施。

在 Kaggle 中更顺畅地运行 Llamafile：在 Kaggle 上运行 llamafile 遇到问题的用户通过一个更新的命令找到了解决方法，该命令解决了 CUDA 编译和兼容 GPU 架构的问题，从而能够高效使用 llamafile-0.7。

RAG-LLM 实现本地化运行：关于在没有 Docker 或 Python 负担的情况下本地分发 RAG-LLM 应用程序的咨询得到了肯定回答，表明 llamafile 非常适合此类用途，特别是对 macOS 用户非常有益。

通过参数驯服内存怪兽：一位用户遇到的内存溢出（out of memory）错误通过调整 -ngl 参数得到了解决，这证明了根据 NVIDIA GeForce GTX 1050 显卡的具体能力微调参数的重要性。

Vulkan 集成提升性能：通过集成 Vulkan 支持来增强 llamafile 的提议，在带有集成 GPU 的 Intel 笔记本电脑上实现了性能提升，但这需要重新导入和修改 llama.cpp 文件的细致工作。

DiscoResearch Discord

新优化器无需调度：huggingface/transformers 仓库现在有一个 Pull Request，引入了 Meta 为 AdamW 和 SGD 提供的 schedule-free optimizers（无调度优化器），这有望大幅提升模型训练流程。
AI 开发者齐聚许尔特 (Hürth)：一场专注于合成数据生成、LLM/RAG 流水线和 embeddings 的 AI 社区活动定于 5 月 7 日在德国许尔特举行。注册已开放，强调动手实践、以开发者为中心的格式，详情见开发者活动 - AI Village。
寻求合成数据见解分享：对合成数据策略知识的需求很高，特别是对德语翻译数据与德语生成数据质量的对比感兴趣，这表明了对区域数据处理专业知识的特定需求。
Command-R 挑战高难度翻译：在 Hugging Face Spaces 上展示的 Command-R 模型在翻译古老的中古高地德语文本方面表现出色，优于 GPT-4 同类模型，凸显了历史语言处理领域的潜在变革。
期待开源模型开发：人们预期令人印象深刻的 Command-R 的开源发布可能会增强开发者的参与度，呼应了像 Mistral 这样公开获取的模型在生态系统中所取得的成功。

AI21 Labs (Jamba) Discord

稳扎稳打才能赢得比赛？：对比显示，与标准的 Transformer 模型相比，Jamba 的 1B Mamba 模型在 HGX 上运行时的训练速度落后了 76%。
尺寸并不总是关键：工程师们推出了缩减版的 Jamba 模型，包括 29B 参数的 8xMoE 和 17.7B 参数的 4xMoE，在像 4090 GPU 这样易于获取的硬件上以 4 bit 运行时，表现相当不错。
权重与衡量：一位创作者在 Jamba 模型中应用球面线性插值 (Slerp) 来进行专家权重缩减，这引起了人们的兴趣，并计划分享一个详细介绍该过程的 notebook。
算力博弈：为了在处理 52B Jamba 模型时实现最佳 GPU 利用率，一位工程师正在寻求更高效的训练方法，考虑到目前的容量限制，可能会考虑从流水线并行切换到张量并行 (Tensor Parallelism)。
什么是最佳的模型服务方案？：社区正在讨论针对 Jamba 模型有效的推理引擎 (inference engines)，尽管目前尚未达成共识。

Datasette - LLM (@SimonW) Discord

QNAP NAS - AI 爱好者的家庭实验室：一位 AI 工程师分享了一份指南，介绍如何将 QNAP NAS（型号 TS-h1290FX）配置为 AI 测试平台，并强调了其显著的规格，如 AMD EPYC 7302P CPU、256GB DRAM 和 25GbE 网络。
利用预设提示词简化 AI 流程：工程师们对存储和重用系统提示词 (system prompts) 以提高 AI 交互效率表现出好奇，尽管讨论没有进一步深入到更详细的见解或经验分享。
Alter：Mac 上的 AI 写作助手：Alter 正在启动 beta 测试，为 macOS 用户提供 AI 驱动的文本改进服务，能够与 Keynote 等应用程序集成，如此演示视频所示。
面向 Mac 爱好者的单一 AI 解决方案：Alter 应用程序旨在为所有 macOS 应用程序提供上下文感知 AI 功能，从而可能集中管理 AI 工具并减少对多种服务的需求。有关其完整功能的详细信息可在 Alter 网站上找到。

Skunkworks AI Discord

动态计算分配激发灵感：工程师们讨论了一篇提议在神经网络中基于 per-token 进行计算资源动态分配的论文，这引起了对 neurallambda 可能进行适配的兴趣；其目标是允许网络自我调节其计算量。
重新思考 neurallambda 的训练方法：探索性讨论包括使用 pause/think tokens、用于条件语句的强化学习 (reinforcement learning)，以及模拟 RNNs 能够自适应控制计算使用量的特性，这可能会增强 neurallambda 的训练效能。
创新的输入处理方式展望：技术专家考虑了 neurallambda 的新型输入方法，例如使用神经队列 (neural queue) 进行更灵活的处理，并将输入概念化为类图灵机纸带，网络可以启动纸带移动。
提升 LLM 的数据结构化能力：参与者分享了一个名为 “Instructor, Generating Structure from LLMs” 的教学视频，展示了从 GPT-3.5, GPT-4 和 GPT-4-Vision 等 LLM 中提取 JSON 等结构化数据的方法，旨在从这些模型中获得更可靠的结果。观看教学视频。
视频学习机会：链接了第二个教育视频，但未提供上下文，这可能是一个供好奇者自主学习的资源。探索视频。

LLM Perf Enthusiasts AI Discord

Haiku 性能调优探索：由于对 Haiku 当前的吞吐量 (throughput) 不满意，一名成员正在寻求提高其速度的建议。
Anthropic 的 API 表现优于 GPT-4 Turbo：一位用户提供的证据表明，在 Berkeley 函数调用基准测试 (Berkeley function calling benchmark) 的众多测试中，Anthropic 的 beta API 超过了 GPT-4 Turbo。这项研究的结果可以在详细的 Twitter 线程中找到。

Alignment Lab AI Discord 没有新消息。如果该频道长时间保持沉默，请告知我们，我们将将其移除。

第 2 部分：按频道详细摘要和链接

Perplexity AI ▷ #announcements (1 条消息):

iOS 上的新故事发现体验：Perplexity 正在其 iOS 应用中测试一种新的故事发现格式。欢迎在指定频道提供反馈；在此处获取应用 here。

Perplexity AI ▷ #general (1199 条消息🔥🔥🔥):

活动以平局结束：Perplexity AI Discord 活动圆满结束，用户 eun08000 和 codelicious 并列第一。获奖者将通过 DMs 收到奖品领取通知。
Claude 3 Opus 的差异：用户讨论了 Poe 和 Perplexity 之间 Claude 3 Opus 模型的差异，注意到性能上的变化，特别是在创意和写作任务方面。
对日食的热情：服务器成员分享了他们对日食的期待和观察，讨论内容包括理想的观测设备以及见证这一现象的经历。
关于月球形成的问题：关于月球的形成引发了讨论，一名用户对月球是与地球相撞的天体的一部分这一理论表示怀疑。分享了相关教育资源的链接以供进一步了解。
在 Discord 上获取 Pro 身份组：用户询问如何获取 Discord 服务器上的 “Pro” 身份组，指引是通过 Perplexity 网站账户设置中提供的 Pro Discord 链接重新加入。

提及的链接:

来自 OscaR-_-010 (@OscaR_010__) 的推文: @kodjima33 @bing @OpenAI @perplexity_ai @AnthropicAI 嗨，朋友。在这里我不得不说，在搜索方面 @perplexity_ai 超越了所有提到的这些，其搜索范围更广。搜索包括...
rabbit: $199 无需订阅 - 人机交互的未来 - 立即预订
支持的模型: 未找到描述
对俄罗斯和白俄罗斯制裁的影响 : Stripe: 帮助与支持: 未找到描述
猫咪表情包 GIF - 猫咪表情包猫咪图片 - 发现并分享 GIF: 点击查看 GIF
太空 GIF - 太空 - 发现并分享 GIF: 点击查看 GIF
Queen - Champion GIF - Queen Freddie Mercury We Are The Champions - 发现并分享 GIF: 点击查看 GIF
全球移动设备厂商市场份额 | Statcounter Global Stats: 该图表显示了基于每月超过 50 亿次页面浏览量的全球移动设备厂商市场份额。
如果我居住在美国境外，可以使用 Privacy 吗？: 目前我们仅能向美国公民或美国合法居民提供服务。我们正在继续探索机会和方案，将 Privacy 带到世界其他地区。H...
全球移动操作系统市场份额 | Statcounter Global Stats: 该图表显示了基于每月超过 50 亿次页面浏览量的全球移动操作系统市场份额。
无限力量星球大战 GIF - 无限力量星球大战 - 发现并分享 GIF: 点击查看 GIF
Mojeek Labs | RAG 搜索: 未找到描述
Sonar 模型是新的吗？: 未找到描述
PPL 网站上的模型与 API 模型之间的区别。: 未找到描述
模型名称？: 未找到描述
日食现场直播（含视频和更新）: 加入我们的日食直播报道，包含实时日食视频！我们将为您展示墨西哥、美国和加拿大的日全食直播...
我们太阳系的八大奇迹 | 行星 | BBC 地球科学: 探索我们太阳系历史上最难忘的事件。前往这些动态世界的表面，见证那些充满戏剧性的时刻...
GOES-East CONUS - GeoColor - NOAA / NESDIS / STAR: 未找到描述

</div>

Perplexity AI ▷ #sharing (40 条消息🔥):

探索 AI 前沿：用户分享了大量指向 Perplexity AI 平台的搜索查询，涵盖了从 Samsung Galaxy S23 到 AI 对音乐产业影响等主题。
科技巨头动态：分享了一个 YouTube 视频链接，讨论了 Tesla 的 Robotaxi 发布预告和 Apple 的家用机器人项目，突显了科技领域的进展和传闻。
互动提醒：发布了多条针对用户的提醒，敦促他们确保其线程（threads）是可分享的，并附带了具体说明和附件链接。
精选成功案例：Amazon Web Services 的一份案例研究展示了 Perplexity AI 在模型训练方面的效率，呈现了训练时间的显著缩短和用户体验的提升。
教育见解：提供了关于色彩基础、几何证明起源以及 SpaceX 火星计划等各种主题的知识资源链接，反映了对学习和自我提升的广泛兴趣。

提到的链接：

Perplexity 通过 Amazon SageMaker HyperPod 将基础模型训练速度提升 40% | Perplexity 案例研究 | AWS：未找到描述
Tesla robotaxi 发布会、Alphabet-HubSpot 收购传闻、Apple 家庭机器人项目：在今天的 Perplexity Discover Daily 节目中，我们深入探讨了特斯拉即将于 8 月 8 日举行的无人驾驶出租车（robotaxi）揭幕仪式，并探索了这款自动驾驶车辆...
构建可信 AI 的工作流与工具 | 与 Clara Shih 探讨 AI 的更多可能：Clara 与三家最热门 AI 公司的创始人/CEO 坐下来交流——Aravind Srinivas (Perplexity AI)、Jerry Liu (LlamaIndex) 和 Harrison Chase (LangChain)...

--- **Perplexity AI ▷ #[pplx-api](https://discord.com/channels/1047197230748151888/1161802929053909012/1225764813393629244)** (40 条消息🔥): - **API 额度购买困难**：成员们在尝试购买 API 额度时遇到问题；尽管尝试了多次，刷新后余额仍显示为 $0。**ok.alex** 请求受影响的用户发送账户详情以便解决。 - **pplx-labs、API 与 Web 应用之间的差异**：用户报告了在 pplx-labs、API 和 Web 应用中使用相同 Prompt 时结果不一致的问题，API 表现出更多的幻觉（hallucinations）。**icelavaman** 告知 [pplx.ai](https://pplx.ai) 的默认模型无法通过 API 获取，且引用功能目前处于封闭测试阶段。 - **正在开发 Perplexity API 的 Ruby 封装库**：**filterse7en** 正在为 Perplexity API 开发一个基于 OpenAI 的 Ruby 封装库。 - **API 与 Web 应用模型的差异**：讨论揭示了 API 和 Web 应用结果之间的差异，并对结果质量和幻觉的存在表示怀疑。**brknclock1215** 建议通过 API 使用 `sonar-medium-online` 模型在效果上应等同于非 Pro 网页版的 "Sonar" 模型。 - **关于 pplx-pro 模型 API 访问的咨询**：**marciano** 询问 pplx-pro 中使用的模型是否可以通过 API 访问。**ok.alex** 澄清 Pro 搜索仅在网页和他们的 App 上可用，无法通过 API 访问。

提到的链接：

<a href="https://api.perplexity.ai")">未找到标题</a>：未找到描述
支持的模型：未找到描述

--- **Nous Research AI ▷ #[off-topic](https://discord.com/channels/1053877538025386074/1109649177689980928/1225759346894442506)** (15 条消息🔥): - **介绍 Command R+**：分享了一个名为 "Introducing Command R+: A Scalable LLM Built for Business" 的 YouTube 视频，展示了 [Cohere 强大的 LLM](https://www.youtube.com/watch?v=keUjQyWmgY0)，该模型专为企业级应用构建。 - **AI 研究过载**：一位成员表达了对是否需要更多 AI 研究人员的担忧，其中一位成员认为目前的研究已经超出了消化能力，而另一位成员指出需要更多的元研究人员（meta-researchers）来综合和解读海量信息。 - **快速搜索图片**：介绍了 'Where's My Pic?' 项目，提供了一个类似于 Google Image Search 的本地文件夹解决方案，可以节省快速定位图片的时间。通过这个 [YouTube 视频](https://www.youtube.com/watch?v=oVJsJ0e6jWk)了解更多。 - **加拿大的 AI 战略**：通过一份 [政府新闻稿](https://www.pm.gc.ca/en/news/news-releases/2024/04/07/securing-canadas-ai-advantage) 强调了加拿大成为 AI 前沿阵地的雄心，包括在创新和技术领域创造高薪就业机会。 - **Hugging Face 技术洞察**：对 huggingface.tech 的 SSL 证书进行了分析，提供了关于他们所使用工具的见解，详见 [crt.sh](https://crt.sh/?q=huggingface.tech)。

提到的链接：

介绍 Command R+：为业务构建的可扩展 LLM：今天，我们将了解 Command R+，这是 Cohere 最强大、可扩展的大语言模型 (LLM)，专为在现实世界的企业应用中表现出色而构建...
确保加拿大的 AI 优势：未找到描述
crt.sh | huggingface.tech：未找到描述

--- **Nous Research AI ▷ #[interesting-links](https://discord.com/channels/1053877538025386074/1132352574750728192/1225822258279354479)** (49 messages🔥): - **Rohan Paul 的 AI 推文引发好奇**：Rohan Paul 关于 AI 的一条推文被重新提及，注意到它早期的印象虽然很深刻，但在三个月后缺乏后续信息和见解。讨论还涉及了在 **NVIDIA 4090 GPU** 上使用 **fp8** 的可用性。 - **LLaMA-2-7B 突破上下文长度限制**：分享了一项突破性成就，**LLaMA-2-7B** 仅使用 8 个 **A100 GPU** 就被训练成可以处理高达 **700K 的上下文长度**，大大超过了预期的 32K 到 200K token 的容量。 - **Gemma 1.1 加入 AI 语言模型家族**：Google 在 Hugging Face 上发布了 **Gemma 1.1 7B (IT)**，这是一款指令型语言模型，在质量、代码能力和指令遵循方面都有所提升。重点介绍了其训练过程中使用的创新 **RLHF 方法**。 - **迷宫寻路的新尝试**：提出了一种利用斐波那契二项式猜想等推测性框架来统一物理学的独特方法，暗示 **NLP** 可以模拟任何过程。 - **GPT-4 表现出元叙事倾向**：分享了使用 GPT-4 的一段经历，其中给定的提示词导致了出人意料的元叙事（meta）和自我引用内容。关于这一有趣表现的讨论还包括了一个相关游戏旁白功能的 **YouTube 链接**。

Links mentioned:

Tweet from Zhang Peiyuan (@PY_Z001): 🌟700K context with 8 GPUs🌟 How many tokens do you think one can put in a single context during training, with 8 A100, for a 7B transformer? 32K? 64K? 200K? No, my dear friend. I just managed to tra...
Large Language Models as Commonsense Knowledge for Large-Scale Task Planning: Large-scale task planning is a major challenge. Recent work exploits large language models (LLMs) directly as a policy and shows surprisingly interesting results. This paper shows that LLMs provide a ...
Classification - Outlines 〰️: Structured text generation with LLMs
Paper page - Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping: no description found
google/gemma-1.1-7b-it · Hugging Face: no description found
Paper page - Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences: no description found
Factorial Funds | Under The Hood: How OpenAI's Sora Model Works: no description found
Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning: Demystifying attention, the key mechanism inside transformers and LLMs.Instead of sponsored ad reads, these lessons are funded directly by viewers: https://3...
Bastion: Narrator Bits Part 1 (Wharf District, Workmen Ward, Breaker Barracks): I recorded the game with narrator audio only and everything else turned down to zero in the sound menu volume settings. Then I just cut out the silent part...
GitHub - vicgalle/configurable-safety-tuning: Data and models for the paper "Configurable Safety Tuning of Language Models with Synthetic Preference Data": Data and models for the paper "Configurable Safety Tuning of Language Models with Synthetic Preference Data" - vicgalle/configurable-safety-tuning

--- **Nous Research AI ▷ #[ask-about-llms](https://discord.com/channels/1053877538025386074/1154120232051408927/1225787256074145843)** (148 messages🔥🔥): - **PDF 转 Markdown 的 GitHub 资源**：一位成员分享了一个名为 **VikParuchuri/marker** 的 GitHub 仓库，该工具可以高精度地将 PDF 文件转换为 Markdown 格式。仓库地址为 [GitHub - VikParuchuri/marker](https://github.com/VikParuchuri/marker)。 - **Hermes 函数调用难题**：讨论了如何让 `Hermes-2-Pro-Mistral-7B` 使用类似于 OpenAI 模型的 `tools` 配置来执行函数。虽然该模型可以处理 ChatML 语法和消息中的函数调用，但在执行 `tools` 中定义的函数时遇到了问题。 - **LLM 中的全参数与 Adapter 训练**：成员们讨论了与训练 Adapter 相比，全参数微调（full parameter finetuning）在获得一致性结果方面的挑战，一些人分享了他们在不同上下文（如 Mixtral 或 Llamas）中使用这两种方法的成功或失败经验。 - **探索大模型输出限制**：讨论了大型语言模型输出大小的限制，大家认识到虽然输入上下文可以非常大，但由于训练数据不同以及操作层面的考虑（例如训练时需要类似大小的输出示例），输出是受到限制的。 - **结合本体与向量搜索**：深入讨论了如何将 **知识图谱 (KG) 本体** 与语言模型结合使用。分享了如何从输入文本创建 Cypher 查询、使用向量搜索评估函数遍历 KG 图的有效性，以及在生产环境中将向量数据库与图数据库集成的技巧。

提到的链接：

TroyDoesAI/MermaidMistral · Hugging Face：未找到描述
GitHub - NousResearch/Hermes-Function-Calling：通过在 GitHub 上创建账号来为 NousResearch/Hermes-Function-Calling 的开发做出贡献。
关于 GPU 显存占用 · Issue #8 · joey00072/ohara：你好。首先，感谢分享 bitnet 训练代码。我有一个关于 GPU 显存占用的问题。据我了解，与 fp16/bf16 精度相比，bitnet 可以减少 VRAM 占用。然而...
GitHub - VikParuchuri/marker: 高精度快速将 PDF 转换为 Markdown：高精度快速将 PDF 转换为 Markdown - VikParuchuri/marker

--- **Nous Research AI ▷ #[project-obsidian](https://discord.com/channels/1053877538025386074/1156472202619781140/1226177515349872640)** (5 messages): - **用随机性扭曲 LLaVA**：一位成员通过向图像嵌入（image embeddings）注入随机性，对 LLaVA 视觉语言模型进行了实验，并观察了 LLM 的解读，详见其 [博客文章](https://anotherjesse.com/posts/llava-rorschach/)。该过程涉及调整模型以接受随机投影而非 CLIP 投影，本质上是对 AI 进行“罗夏墨迹测试”。 - **nanoLLaVA 强势登场**：发布了“小而强大”的 **nanoLLaVA**（低于 1B 参数的视觉语言模型），一位成员分享了他们在 Hugging Face 上的作品 [nanoLLaVA](https://huggingface.co/qnguyen3/nanoLLaVA) 链接，该模型可在边缘设备上运行，并拥有 Base LLM 和 Vision Encoder 的独特组合。 - **Obsidian 和 Hermes Vision 更新在即**：同一位成员宣布 **Obsidian** 和 **Hermes Vision** 即将更新，暗示视觉语言模型能力的增强。 - **ChatML 与 LLaVA 的融合能力**：成功实现了让 ChatML 与 LLaVA 模型协同工作，暗示了对话与视觉语言任务之间潜在的桥梁。

提到的链接：

anotherjesse.com - LLaVA LLM 的罗夏墨迹测试：未找到描述
qnguyen3/nanoLLaVA · Hugging Face：未找到描述

--- **Nous Research AI ▷ #[rag-dataset](https://discord.com/channels/1053877538025386074/1218682416827207801/1225927044035252286)** (19 messages🔥): - **建议为多样化数据集编写 Chunking Script**：有人提议编写一个 *chunking script*，以避免在生成数据集时进行大规模的 RAG 调用。通过预先准备 RAG 生成内容，这可能会使数据集更加多样化且高效。 - **通过 Claude Opus 进行 Multidoc Queries**：讨论了使用 *Claude Opus* 生成 multidoc queries 的可能性，即通过选择来自不同领域的文档并生成跨领域的查询。这种方法可以增强 RAG 模型的复杂查询生成能力。 - **用于模型训练的多样化文档源**：分享了多样化文档源的链接，例如 [OCCRP 数据平台](https://aleph.occrp.org) 和 [The Eye](https://the-eye.eu/public/) 上的各种文件库。可以抓取这些来源以创建丰富的训练数据集。 - **用于训练的勒索软件受害者文档**：曾考虑将勒索软件组织发布的受害者内部文档作为潜在的训练数据源。然而，使用此类数据的伦理问题被指出存在争议。 - **讨论 RAPTOR Clustering 策略**：强调了 RAPTOR clustering 方法的递归特性，引发了关于生成 Cluster 的策略及其在 RAG 数据集集合分层中作用的讨论。

提到的链接：

未找到标题：未找到描述
Index of /public/：未找到描述

--- **Nous Research AI ▷ #[world-sim](https://discord.com/channels/1053877538025386074/1221910674347786261/1225820438412787844)** (567 条消息🔥🔥🔥): - **等待期间 Worldsim 的现状**：在遭受 *DDoS* 攻击后，用户继续热切询问 **Worldsim** 的恢复情况，并讨论了实施登录系统以防止来自 *4chan* 等臭名昭著的在线社区未来攻击的可能性。 - **AI 记忆之谜**：关于 **Claude** 是否能跨会话记住信息，还是仅仅通过其概率模型模仿这种能力，存在困惑和讨论。尽管 Prompt 相同，但随机的 Token 选择会导致不同的结果。 - **寻求可持续解决方案**：由于用户提议为 Worldsim 建立订阅模式，以抵消因无限制访问而产生的高昂运营成本，**Nous Research** 暗示未来将推出“pro”版本并计划增加更多场景，同时强调需要一个可持续的平台。 - **关于超越的传说与技术**：频道中充满了关于意识、存在以及生活在模拟中可能性的哲学讨论；平行的对话深入探讨了 AI 的本质、存在以及科学与哲学的相互作用。 - **迫不及待想要体验**：用户对 Worldsim 的回归表达了焦急与热情的复杂情感，询问更新情况，同时讨论防止无限制访问的方法，并思考订阅模式的潜在成本，以保持服务的财务可行性并防止滥用。

提到的链接：

Client SDKs: 未找到描述
MemGPT - 为 LLMs 提供无限上下文（内存） | MLExpert - 助你攻克机器学习面试：如何克服 LLMs 的上下文窗口大小限制？MemGPT 通过巧妙地管理不同的内存层级来帮助处理更长的对话。
fbjr/cohere_c4ai-command-r-plus-mlx-4bit-128g · Hugging Face: 未找到描述
world_sim: 未找到描述
websim.ai: 未找到描述
未找到标题: 未找到描述
Google 的新 AI 可以生成完整的 2D 平台游戏：这款名为 Genie 的新模型可以根据单张图像提示词创建可玩的模型环境。
Game B 简介 - Game B Wiki: 未找到描述
The Box | 科幻动画短片：视频摘要：该动画短片跟随“The Breacher”的视角，这是一个决心逃离被称为“Wor...”的模拟现实限制的角色。
GitHub - simonw/llm: 从命令行访问大语言模型：从命令行访问大语言模型 - simonw/llm
Worldsim 与越狱 Claude 3（含字幕） [-2-]：个人学习
The Great Eclipse | 科幻动画短片：视频摘要：这部动画短片探讨了一场思想和信仰之战，不是用武器，而是通过数据、辩论和模拟世界的力量。随着不同...
量子力学可以通过时空上的随机优化来理解 - Scientific Reports: 未找到描述
首页: 未找到描述

--- **Stability.ai (Stable Diffusion) ▷ #[general-chat](https://discord.com/channels/1002292111942635562/1002292112739549196/1225739403645947915)** (977 条消息🔥🔥🔥): - **寻找 Stability Bot**：用户询问了关于生成图像的问题，并被引导至 <#1047610792226340935> 查看服务器状态，因为机器人目前处于离线状态。 - **对图像生成结果的好奇**：用户讨论了本地模型与 Dreamstudio 之间图像输出质量的差异，建议尝试开源 upscalers，并询问了各种技术的有效性。 - **对 Stable Diffusion 3 的期待**：对话显示 SD3 的发布预计还有 2-4 周的非正式时间，并讨论了其预期的改进和功能。 - **探索 SD 模型增强**：用户交流了关于训练 LoRAs 的信息，包括安装和实用性问题，并建议关注特定的 GitHub 仓库以获取指导。 - **在 UI 之间切换**：成员们分享了从 Automatic 1.1.1.1 切换到 StableSwarm 等其他 UI 的建议，强调了后者为新手提供的增强用户体验和功能。

提及的链接:

Leonardo.Ai：为您的项目创建具有前所未有的质量、速度和风格一致性的生产级视觉资产。
stabilityai/cosxl · Hugging Face：未找到描述
SDXL-Lightning - ByteDance 提供的 Hugging Face Space：未找到描述
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction：我们提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”...
PixArt LCM - PixArt-alpha 提供的 Hugging Face Space：未找到描述
Lexica Testica - 1.0 | Stable Diffusion Checkpoint | Civitai：初始化自 OpenJourney v2，在从 Lexica art 首页（2023年1月）抓取的图像上进一步微调了 4000 步。擅长生成...
Frieren Wow GIF - Frieren Wow Elf - 发现并分享 GIF：点击查看 GIF
Yoshi Mario GIF - Yoshi Mario Yoshis Island - 发现并分享 GIF：点击查看 GIF
OpenModelDB：OpenModelDB 是一个社区驱动的 AI 放大模型数据库。我们的目标是提供一种比现有资源更好的方式来查找和比较模型。
Reddit - 深入探索一切：未找到描述
VAR/demo_sample.ipynb at main · FoundationVision/VAR：[GPT 击败 Diffusion🔥] [视觉生成中的 Scaling Laws📈] “Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction”的官方实现 - FoundationVision/VAR
GitHub - LykosAI/StabilityMatrix: 适用于 Stable Diffusion 的多平台包管理器：适用于 Stable Diffusion 的多平台包管理器 - LykosAI/StabilityMatrix
Federal Register :: 请求访问：未找到描述
如何在 Google Colab 中运行 Stable Diffusion（免费）且不断连：这里介绍了如何在 Colab 中编写自己的 Python Notebook，免费生成 AI 图像且不会断开连接。我们将使用来自 Hugging Face 的 Diffusers 库...
调查：比较 AI 生成的照片（扩散模型）：这是一项旨在确定不同扩散模型（如 SD 1.5, SD 2.0, SDXL, Dall-e-3 和自定义微调模型）中更准确输出的调查。完成该调查需要几分钟时间...
安装 Stability Matrix（Automatic 1111, ComfyUI, Fooocus 等的一键安装程序）：此 Stability Matrix 应用程序专为 Windows 设计，允许安装和管理 Automatic 1111, ComfyUI 等文本生成图像 Web UI 应用...
与 Malcolm 和 Simone Collins 的对话（精简版）：Malcolm 和 Simone 是 pronatalist.org、The Collins Institute for the Gifted 和 Based Camp Podcast 的创始人。All Outcomes Are Acceptable 博客：https:...
GitHub - altoiddealer/--sd-webui-ar-plusplus: 在 sd-webui 中从预设选择图像纵横比：在 sd-webui 中从预设选择图像纵横比。通过在 GitHub 上创建账户来为 altoiddealer/--sd-webui-ar-plusplus 的开发做出贡献。
通过 VAE 伪影识别 Stable Diffusion XL 1.0 图像：最近发布的全新 SDXL 1.0 文本生成图像模型会在图像中产生细小的伪影，而早期的 0.9 版本则没有这些伪影。
GitHub - nashsu/FreeAskInternet: FreeAskInternet 是一个完全免费、私密且在本地运行的搜索聚合器和使用 LLM 的答案生成器，无需 GPU。用户可以提出问题，系统将进行多引擎搜索并将搜索结果合并到
如何安装 Stable Diffusion - automatic1111: 第 2 部分：如何使用 Stable Diffusion https://youtu.be/nJlHJZo66UA Automatic1111 https://github.com/AUTOMATIC1111/stable-diffusion-webui 安装 Python https://w...
GitHub - derrian-distro/LoRA_Easy_Training_Scripts: 一个使用 Pyside6 制作的 UI，旨在简化 sd-scripts 中 LoRA/LoCon 及其他 LoRA 类型模型的训练: 一个使用 Pyside6 制作的 UI，旨在简化 sd-scripts 中 LoRA/LoCon 及其他 LoRA 类型模型的训练 - derrian-distro/LoRA_Easy_Training_Scripts
SonicDiffusion - V4 | Stable Diffusion Checkpoint | Civitai: 在这里尝试！https://mobians.ai/ 加入 discord 获取更新、分享生成的图像，或者只是想聊天，亦或是想为帮助...
GitHub - Stability-AI/StableSwarmUI: StableSwarmUI，一个模块化的 Stable Diffusion Web-User-Interface，重点在于使强力工具易于访问、高性能和可扩展性。: StableSwarmUI，一个模块化的 Stable Diffusion Web-User-Interface，重点在于使强力工具易于访问、高性能和可扩展性。 - Stability-AI/StableSwarmUI
GitHub - camenduru/Open-Sora-Plan-replicate: 通过在 GitHub 上创建账户来为 camenduru/Open-Sora-Plan-replicate 的开发做出贡献。
GitHub - GarlicCookie/PNG-SD-Info-Viewer: PNG-SD-Info-Viewer 是一个旨在快速浏览带有 Stable Diffusion 生成图像相关元数据的 PNG 文件的程序。: PNG-SD-Info-Viewer 是一个旨在快速浏览带有 Stable Diffusion 生成图像相关元数据的 PNG 文件的程序。 - GarlicCookie/PNG-SD-Info-Viewer
GitHub - GarlicCookie/SD-Quick-View: SD-Quick-View 是一个旨在非常快速地查看 Stable Diffusion 生成的图像并查看相关元数据的程序。: SD-Quick-View 是一个旨在非常快速地查看 Stable Diffusion 生成的图像并查看相关元数据的程序。 - GarlicCookie/SD-Quick-View
GitHub - lllyasviel/stable-diffusion-webui-forge: 通过在 GitHub 上创建账户来为 lllyasviel/stable-diffusion-webui-forge 的开发做出贡献。
ComfyUI-Tara-LLM-Integration/README.md at main · ronniebasak/ComfyUI-Tara-LLM-Integration: 通过在 GitHub 上创建账户来为 ronniebasak/ComfyUI-Tara-LLM-Integration 的开发做出贡献。
Reddit - 深入了解任何事物: 未找到描述
NewRealityXL ❗ 全能摄影 - ✔ 3.0 实验版 | Stable Diffusion Checkpoint | Civitai: 重要提示：v2.x ---> 主版本 | v3.x ---> 实验版本我需要你们的时间来彻底测试这个新的第 3 版，以了解所有...

--- **Unsloth AI (Daniel Han) ▷ #[general](https://discord.com/channels/1179035537009545276/1179035537529643040/1225801606377898034)** (341 条消息🔥🔥): - **转换挫败感**：成员们对 Chat GPT 和 Claude 等机器学习模型表示不满，因为在将图像转换为 HTML 时，颜色保真度和边框圆角会丢失。有人幽默地建议将图像转换为 ASCII 艺术。 - **模型限制的共同挑战**：对话涉及服务器崩溃导致模型丢失的问题，原因是 Unsloth AI 和 Hugging Face 等平台上的模型保存问题，一些用户表达了对失去大量 fine-tuning 成果的遗憾。 - **对 LLM Vision Model 替代方案的好奇**：虽然视觉模型仍在 Unsloth AI 的 roadmap 上，但它们目前的优先级较低。用户讨论了像 Dreambooth 这样的替代方案，但没有找到确定的解决方案。 - **LLM 训练的 GPU 困扰**：幽默地讨论了避免笔记本电脑在模型训练期间过热的策略，包括搬到南极洲或使用空调。 - **对 Gradient Checkpointing 和更长上下文的期待**：关于 Unsloth AI 即将推出的功能的非官方暗示和预告引发了热议和期待，导致了关于可能实现方式以及对 GPU 资源有限用户的益处的讨论。

提到的链接：

liminerity/Mistral-quiet-star-demo · Hugging Face：未找到描述
liminerity/Mistral-quiet-star-demo · Hugging Face：未找到描述
Unsloth Fixing Gemma bugs：Unsloth 正在修复 Google 的开源语言模型 Gemma。
ASCII art elicits harmful responses from 5 major AI chatbots：LLM 被训练用于阻止有害响应。老式的图像可以绕过这些规则。
SPIN/scripts/finetune.sh at main · uclaml/SPIN：Self-Play Fine-Tuning (SPIN) 的官方实现 - uclaml/SPIN
LLaVA/docs/Finetune_Custom_Data.md at main · haotian-liu/LLaVA：[NeurIPS'23 Oral] 旨在达到 GPT-4V 级别能力及更高水平的 Visual Instruction Tuning (LLaVA)。- haotian-liu/LLaVA
GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch：PyTorch 中的 Schedule-Free 优化。通过在 GitHub 上创建账号为 facebookresearch/schedule_free 的开发做出贡献。
When GPT-5 is coming out | Sam Altman and Lex Fridman：Lex Fridman Podcast 完整剧集：https://www.youtube.com/watch?v=jvqFAi7vkBc。请通过关注我们的赞助商来支持本播客：- Cloaked: https://cloa...
Home：快 2-5 倍，显存占用减少 70% 的 QLoRA 和 LoRA 微调 - unslothai/unsloth
GitHub - stanfordnlp/pyreft: ReFT: Representation Finetuning for Language Models：ReFT：语言模型的表示微调 - stanfordnlp/pyreft
Trainer：未找到描述
gate369/Alpaca-Star · Datasets at Hugging Face：未找到描述

--- **Unsloth AI (Daniel Han) ▷ #[random](https://discord.com/channels/1179035537009545276/1179039861576056922/1225755450117460129)** (78 messages🔥🔥): - **分享偏好的 AI 新闻来源**：成员们分享了他们获取 AI 新闻的首选来源——**AI News** 和 **Reddit**，特别提到了用户 *localllama* 提供的持续更新。 - **辩论 Learning Rate Schedulers 的优劣**：一位成员分享了实验不同 Learning Rate Schedulers（**linear**、**cosine with restarts** 和 **constant**）的结果，指出 **constant** 似乎出人意料地最适合他们的模型（专注于多语言通用助手）。 - **提出关于 DPO 微调的问题**：人们对使用 **DPO** (Dynamic Positional Offsets) 微调的模型为何在 **Open LLM Leaderboard** 上表现出色感到好奇，即使基础模型的分数较低。有人建议专有数据集可能是一个影响因素。 - **讨论 Benchmark 对模型感知的影响**：关于 Benchmark 的讨论表明，它们并不总是与感知质量一致；低分模型可能仍然非常有效。此外，还表达了对模型可能被测试数据“污染”以及 Benchmark 僵化性的担忧。 - **提到 Unsloth 招聘和开源贡献**：成员们讨论了即将进行的全栈开发人员和开发者倡导者（Developer Advocate）的招聘，并澄清这些角色将负责为开源社区做出贡献并构建 Unsloth Pro 平台。 **提到的链接**：Home：快 2-5 倍，显存占用减少 70% 的 QLoRA 和 LoRA 微调 - unslothai/unsloth --- **Unsloth AI (Daniel Han) ▷ #[help](https://discord.com/channels/1179035537009545276/1179777624986357780/1225765845653917788)** (374 messages🔥🔥): - **AI 模型私有托管**：一位成员宣布他们正在自己的服务器上托管其 AI 项目，以维护一些未发布模型的隐私。他们暗示在托管更多高质量模型后，未来可能会整合广告，并分享了一个链接：[Hircoir Text-to-Speech](https://tts.hircoir.eu.org/)。 - **推理代码灵活性获赞**：Unsloth AI 的推理代码因其速度和易用性而受到称赞。成员们被提醒可以根据需要修改 temperature 等推理设置，并根据需要使用 Generative Guided Unsupervised Fine-tuning (GGUF)。 - **关于模型合并的讨论**：一场对话涉及了 AI 模型的潜在合并策略，建议包括将不同模型之间的差异相互应用。基于以往的经验，对此话题的看法从怀疑到乐观不等。 - **用户在代码方面遇到困难**：一位用户表达了在编码方面的困难，特别是与批量推理（batch inference）的模型参数调整有关。他们被引导至 Unsloth 的 GitHub 以获取指导，强调了 `model.generate` 的实用性。 - **批量推理说明**：成员们讨论了如何有效地执行批量推理。纠正了 `num_return_sequences` 的用法，指出它仅适用于单个 prompt，而不适用于应该“全部堆叠在一起”的批量 prompt。

提及的链接：

Google Colaboratory：未找到描述
Google Colaboratory：未找到描述
HirLab - Convertidor de Texto a Voz por Hircoir：HirLab 是一个基于人工智能的文本转语音平台。它可以快速准确地将文本转换为语音。
Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch：低秩自适应 (LoRA) 是一种机器学习技术，通过调整参数来修改预训练模型（例如 LLM 或 Vision Transformer），以更好地适应特定的、通常较小的数据集...
Customizing LLMs - LlamaIndex：未找到描述
Customizing LLMs - LlamaIndex：未找到描述
Text generation strategies：未找到描述
Mistral Fine Tuning for Dummies (with 16k, 32k, 128k+ Context)：在我们最新的教程视频中探索如何使用您自己的数据轻松微调语言模型 (LLM)。我们深入探讨了一种经济高效且可持续的方法...
unsloth/unsloth/save.py at main · unslothai/unsloth：速度提升 2-5 倍，显存占用减少 70% 的 QLoRA 和 LoRA 微调 - unslothai/unsloth
GitHub - unslothai/unsloth: 2-5X faster 70% less memory QLoRA & LoRA finetuning：速度提升 2-5 倍，显存占用减少 70% 的 QLoRA 和 LoRA 微调 - unslothai/unsloth
Home：速度提升 2-5 倍，显存占用减少 70% 的 QLoRA 和 LoRA 微调 - unslothai/unsloth
Mistral with flash attention 2 and right padding · Issue #26877 · huggingface/transformers：系统信息 transformers 版本：4.34.0 平台：Linux-5.4.0-148-generic-x86_64-with-glibc2.31 Python 版本：3.10.13 Huggingface_hub 版本：0.17.3 Safetensors 版本：0.4.0 Accelerate 版本...
pharaouk/UltraInteract_sft · Datasets at Hugging Face：未找到描述
Models：未找到描述
Batch inference produces nonsense results for unsloth/mistral-7b-instruct-v0.2-bnb-4bit · Issue #267 · unslothai/unsloth：您好，在使用以下代码加载模型后：from unsloth import FastLanguageModel import torch model, tokenizer = FastLanguageModel.from_pretrained( model_name = "unsloth/mistral-7b-instruct-v0.2-bnb...

--- **Unsloth AI (Daniel Han) ▷ #[showcase](https://discord.com/channels/1179035537009545276/1179779344894263297/1226796733393010688)** (2 条消息): - **介绍 Aurora-M**：根据美国关于 AI 的行政命令，开发了一款名为 **Aurora-M** 的新型 [155 亿参数开源多语言语言模型](https://arxiv.org/abs/2404.00399)。它展示了单语言安全对齐的跨语言影响，并突破了 2 万亿训练 Token。 - **跨语言安全影响得到验证**：团队发现，在英语上进行的安全对齐微调不仅增强了英语的安全性，还增强了德语等其他语言的安全性。这被认为是*单语言安全对齐具有跨语言影响*的首个证据。 - **同行认可**：社区对 *Aurora-M* 项目表示支持，并给出了“great work! 🔥”等积极反馈。 - **Aurora-M 的后续进展**：该项目旨在以 *Aurora-M* 为基础，通过使用 LoRA 训练 Mixture of Experts 并进行后续合并。目前正在征求 Unsloth AI 社区的反馈，特别是关于使用 LoRA 微调 Notebook 的建议。

提及的链接:

来自 ً ‎ (@__z__9) 的推文: 新的预印本！首个经过多语言红队测试、开源且持续预训练的 LLM —— **Aurora-M**，符合白宫关于安全、可靠和值得信赖的开发的行政命令...
Aurora-M: 首个根据美国行政命令进行红队测试的开源多语言语言模型: 预训练语言模型支撑着多种 AI 应用，但其高昂的训练计算成本限制了可及性。BLOOM 和 StarCoder 等倡议旨在使...

--- **Unsloth AI (Daniel Han) ▷ #[suggestions](https://discord.com/channels/1179035537009545276/1180144489214509097/1226587652262985858)** (148 条消息🔥🔥): - **投资难题**：关于 **Jamba** 和 **Mamba** 的价值引发了热烈辩论，观点从怀疑到谨慎乐观不等。虽然一位成员指出 Jamba 背后的公司 AI21 Labs 筹集了 1.55 亿美元，这可能表明了市场兴趣，但其他人持批评态度，认为此类投资可能被误导了。([AI21 Labs 融资情况](https://techcrunch.com/2023/08/30/generative-ai-startup-ai21-labs-lands-155m-at-a-1-4b-valuation/)) - **量化模型成为焦点**：量化模型和优化技术（如 AQLM）的可行性引发了复杂的感受。一位成员指出，针对特定用例进行微调具有理想的 ROI，并分享到，尽管前期成本很高，但对微调进行适当投资可以产生显著回报。([AQLM Mixtral](https://huggingface.co/ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf)) - **对模型架构的不同看法**：成员们评估了引入部分优化的 **MoE** 的必要性，并讨论了新架构的实现，其中一位成员建议采取谨慎态度，观察此类模型是否会流行。 - **自动化 AI 工程的未来**：对话简要触及了创建**能够辅助编写优化 Kernel** 或处理 Triton 代码生成等繁重计算任务的**微调模型**的潜力，旨在开拓自动化 AI 工程解决方案。 - **实用性胜过炒作**：整个讨论中有一种强烈的倾向，强调实用、经过良好优化的模型比“炒作”的初创公司项目更重要。共识似乎倾向于支持经过验证、可扩展的架构（如 **Transformers**），并在适当的时候增加 **MoE** 实现。

提及的链接:

ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf · Hugging Face: 未找到描述
Generative AI startup AI21 Labs lands $155M at a $1.4B valuation | TechCrunch: AI21 Labs 是一间与 OpenAI 和 Anthropic 等生成式 AI 玩家竞争的公司，已筹集了 1.55 亿美元资金。
ai21labs/Jamba-v0.1 · Hugging Face: 未找到描述
alpindale/Mistral-7B-Instruct-v0.2-AQLM-2Bit-1x16 · Hugging Face: 未找到描述
Generative AI startup AI21 Labs lands $155M at a $1.4B valuation | TechCrunch: AI21 Labs 是一间与 OpenAI 和 Anthropic 等生成式 AI 玩家竞争的公司，已筹集了 1.55 亿美元资金。
Choice of torch.compile vs. triton: 在 GPU 上，torch.compile() 会应用各种编译器优化，其中最重要的是 CUDA graphs 和 fusions。特别是 fusions 是通过生成 Triton kernels 代码来完成的，因此 torch.c...

--- **LM Studio ▷ #[💬-general](https://discord.com/channels/1110598183144399058/1110598183144399061/1225750743047208991)** (488 messages🔥🔥🔥): - **GPU Offload 困惑已解决**：用户在 LM Studio 中优化 GPU 使用方面得到了指导，建议调整 "n_gpu_layers" 和 "GPU Offloading" 设置以获得更好的性能，缓解了对过度依赖集成显卡或未能利用 Nvidia GPU 的担忧。建议指出，在可能的情况下，应确保模型完全 Offload 到 GPU 以获得更快的速度。 - **大型 LLM 和多 GPU 设置**：关于运行大型模型（如 70b 模型）的讨论围绕 VRAM 的重要性展开，用户分享了他们的经验和配置，包括双 RTX 4060 Ti 16GB 设置。共识是 VRAM 越多，可以运行的模型就越大，且不会因为使用系统 RAM 而变慢。 - **探索模型能力**：关于较小容量模型是否能记住用户名称的疑问，引出了关于使用 System Prompts 指导模型执行所需行为的解释。澄清说明 LM Studio 不支持模型的实际学习或训练；然而，编写详细的 Prompts 可以实现与学习类似的效果。 - **用于编程目的的 AI**：用户推荐 OpenAI 的 GPT-4，因其在编程方面的精通，尽管也提到了相关成本。讨论强调了缺乏同等的开源模型，反映了模型能力与成本之间的权衡。 - **多样化的用法和集成问题**：对话范围从在独立驱动器上设置模型、错误调试，到询问模型与 EXL2 和 GGUF 等不同格式的兼容性。集成主题包括将 LM Studio 与 OpenDevin 等其他工具连接，以及将 LLM 用于文本分析和小说创作等任务。

提及的链接:

什么是 Grouped Query Attention (GQA)？ — Klu: 未找到描述
文档 | LM Studio: 技术参考
LoneStriker/miqu-1-70b-sf-4.25bpw-h6-exl2 · Hugging Face: 未找到描述
TheBloke/MXLewdMini-L2-13B-GGUF · Hugging Face: 未找到描述
Reddit - 深入探讨一切: 未找到描述
TheBloke/MXLewdMini-L2-13B-GGUF · Hugging Face: 未找到描述
Reddit - 深入探讨一切: 未找到描述
[Bug]: LLM Studio 无法连接 · Issue #807 · Pythagora-io/gpt-pilot: 版本 VisualStudio Code 扩展操作系统 Windows 11 发生了什么？通过将 endpoint 和 api key 从 OpenAI 更改为 LLM Studio：如果使用 OPENAI_ENDPOINT=http://localhost:1234/v1 那么...
big-AGI/docs/config-local-lmstudio.md at main · enricoros/big-AGI: 由最先进模型驱动的生成式 AI 套件，提供高级 AI/AGI 功能。其特点包括 AI 角色、AGI 功能、多模型聊天、文本转图像、语音、响应流式传输...
非官方 LM Studio FAQ！: 欢迎来到非官方 LM Studio FAQ。在这里，你可以找到我们在 LM Studio Discord 中收到的最常见问题的答案。（此 FAQ 由社区管理）。LM Studio 是一款免费的闭源...
Humble 科技书籍捆绑包：Pearson 出版的机器学习、AI、深度学习和 LLM: 通过这些关于 AI、机器学习和其他计算机科学前沿话题的书籍，紧跟定义未来的技术步伐！
GitHub - jakobdylanc/discord-llm-chatbot: llmcord.py • 和你的朋友一起与 LLM 聊天！: llmcord.py • 和你的朋友一起与 LLM 聊天！通过在 GitHub 上创建账号为 jakobdylanc/discord-llm-chatbot 的开发做出贡献。
Reddit - 深入探讨一切: 未找到描述
使用 LM Studio 时遇到问题 · Issue #419 · OpenDevin/OpenDevin: 描述 Bug：连接到 LM Studio 时出现问题。复现步骤：1. 在 LM Studio 上启动服务器 2. 在 OpenDevin 上启动前端和后端 3. 预期行为：OpenDevin 询问我想要构建什么...
由 Carolinabanana 添加 Command R Plus 支持 · Pull Request #6491 · ggerganov/llama.cpp: 更新了张量映射，为 GGUF 转换添加了 Command R Plus 支持。

--- **LM Studio ▷ #[🤖-models-discussion-chat](https://discord.com/channels/1110598183144399058/1111649100518133842/1225757263030128641)** (103 条消息🔥🔥): - **Command R+ 即将到来**：备受期待的 **Command R+** 模型在与 llama.cpp 的集成方面仍面临挑战，但目前已有一个[可用分支](https://github.com/pmysl/c4ai-command-r-plus-GGUF)可以运行。这是一个庞大的 104B 模型，需要强大的硬件配置。 - **GGUF 格式的特性与提供的帮助**：关于量化格式无障碍实现的讨论促使成员们分享经验，并为那些希望运行 GGUF 模型的人提供协助。社区对像 TheBloke 这样悄然消失的贡献者表示好奇和担忧。 - **硬件烦恼与幽默**：社区成员开玩笑说他们的 LLM 硬件爱好非常昂贵，将支出比作购买 BMW M4 等奢侈品。此外，还有关于寻找廉价解决方案的建议，例如使用 Nvidia P40 显卡。 - **AI 故事创作追求**：一位成员表达了对使用 AI 模型进行创意故事创作的兴趣，并收到了关于选择具有大上下文的模型以及使用 [MemGPT](https://github.com/cpacker/MemGPT) 等内存管理工具的建议。 - **对视觉适配器的好奇**：有人提出了关于 cjpais llava 模型中视觉适配器功能的问题，随后询问了如何复制特定视频中展示的视觉任务能力。

提到的链接:

pmysl/c4ai-command-r-plus-GGUF · Hugging Face: 未找到描述
C4AI Command R Plus - a Hugging Face Space by CohereForAI: 未找到描述
TheB (Pastor B): 未找到描述
google/gemma-1.1-7b-it · Hugging Face: 未找到描述
Qwen/Qwen1.5-32B-Chat-GGUF at main: 未找到描述
TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF · Hugging Face: 未找到描述
Wizard Vicuna 7B Uncensored GPTQ By TheBloke: Benchmarks and Detailed Analysis. Insights on Wizard Vicuna 7B Uncensored GPTQ.: LLM 卡片: 7b LLM, VRAM: 4.5GB, Context: 2K, License: other, Quantized, Uncensored.
TheBloke/goliath-120b-GGUF · Hugging Face: 未找到描述
j4ys0n - Overview: 区块链工程师。j4ys0n 拥有 62 个代码仓库。在 GitHub 上关注他们的代码。
ggml : update mul_mat_id to use the same tensor for all the experts by slaren · Pull Request #6387 · ggerganov/llama.cpp: 将内存中专家的存储方式从每个专家一个张量更改为包含所有专家的单个 3D 张量。这将允许我们支持具有大量专家的模型，如 qwen2moe。

--- **LM Studio ▷ #[announcements](https://discord.com/channels/1110598183144399058/1111797717639901324/1225884680008503366)** (1 条消息): - **LM Studio 社区页面上线**：LM Studio 团队在 Hugging Face 上推出了全新的 "lmstudio-community" 页面，提供最新的 **GGUF 量化版本**。用户可以通过在 LM Studio 内搜索 `lmstudio-community` 来查找并试用这些模型；点击[此处](https://huggingface.co/lmstudio-community)查看。 - **@bartowski1182 加入担任 LLM 归档员**：在 Twitter 上宣布，@bartowski1182 将担任 LM Studio 的常驻 **LLM 归档员**，协助更新新的 Hugging Face 社区页面。查看 Twitter 公告[请点击此处](https://x.com/LMStudioAI/status/1776324680124694654)。 **提到的链接**: 来自 LM Studio (@LMStudioAI) 的推文: 如果你在这里待得足够久，你可能会像我们一样想念 @TheBlokeAI 🥲。我们和 @bartowski1182 决定尝试填补这个空白。我们很高兴能分享这个新... --- **LM Studio ▷ #[🧠-feedback](https://discord.com/channels/1110598183144399058/1113937247520170084/1225804230238011452)** (25 条消息🔥): - **对 LM Studio GUI 的赞赏**：成员们发现 **LM Studio** 的表现优于 **oogabooga** 和 **Faraday** 等其他本地 LLM GUI，即使使用相同的模型和指令，也能获得高质量的结果。 - **功能扩展请求**：建议为 LM Studio 增加**文件读取支持**以及各种模式，如*文本转图像*、*图像转文本*和*文本转语音*功能，寻求类似于现有工具 **Devin** 的改进。 - **Vision 模型令人惊叹**：成员们对测试的 Vision 模型感到兴奋，并感谢 LM Studio 提供的实用功能。Vision 模型可在 [Hugging Face](https://huggingface.co/collections/lmstudio-ai/vision-models-gguf-6577e1ce821f439498ced0c1) 上获取。 - **下载问题排查**：有用户在 Pop!_OS 22.04 LTS 上尝试下载 LM Studio 的 Linux Beta 版本时遇到问题。该问题被确定为网站的一个 Bug，并提供了 AppImage 的直接链接（[点击此处](https://releases.lmstudio.ai/linux/0.2.19/beta/LM_Studio-0.2.19-Preview-1.AppImage)）。 - **支持无审查模型**：有请求希望 LM Studio 支持名为 **Dolphin 2.8 Mistral 7b v0.2** 的新型无审查模型，该模型可在 Hugging Face 上获取（[无审查模型](https://huggingface.co/cognitivecomputations/dolphin-2.8-mistral-7b-v02)）。

提到的链接：

LM Studio Beta 版本发布：未找到描述
👾 LM Studio - 发现并运行本地 LLM：查找、下载并实验本地 LLM
未找到标题：未找到描述
Vision Models (GGUF) - lmstudio-ai 集合：未找到描述
cognitivecomputations/dolphin-2.8-mistral-7b-v02 · Hugging Face：未找到描述

--- **LM Studio ▷ #[📝-prompts-discussion-chat](https://discord.com/channels/1110598183144399058/1120489168687087708/1226893471496011857)** (2 条消息): - **关于用于股市分析的 LLM 咨询**：一位成员提出了关于如何训练 **Large Language Models (LLMs)** 以解释股市 **OHLC**（开盘价、最高价、最低价、收盘价）价格的问题。 - **关于带指标的 LLM 训练请求**：同一位成员询问了在股市分析的 LLM 训练过程中加入**指标 (indicators)** 的相关事宜。 --- **LM Studio ▷ #[🎛-hardware-discussion](https://discord.com/channels/1110598183144399058/1153759714082033735/1225762035325866015)** (39 条消息🔥): - **在 LM Studio 中混合使用 GPU**：一位成员分享道，LM Studio 可以检测不同 GPU 显卡（如 **RTX 4060 Ti** 和 **GTX 1070**）的累积 VRAM，与结合使用 VRAM 和 CPU/RAM 相比，这提升了性能。 - **Advanced Matrix Extensions 的兼容性查询**：一位成员询问 **LM Studio** 是否可以利用第四代 **Xeon 处理器**中的 **Intel Advanced Matrix Extensions (AMX)**。 - **ROCm 支持与混合 GPU 的探索**：用户讨论了各种 **RX 5000** 和 **RX 6000** 系列 AMD GPU 在 **LM Studio** 中对 **ROCm** 支持的兼容性，并指出并非所有显卡都受支持。 - **CPU 指令集支持问题**：一位用户遇到了其处理器 **Xeon E5-2690 v2** 似乎缺乏 AVX2 支持的问题，这与其之前使用 **LM Studio** 的经验相矛盾。建议手动安装 **llama.cpp** 作为权宜之计。 - **关于使用 Tesla P 系列 GPU 进行模型训练和微调的辩论**：有人提到关于使用 **Tesla P40 GPU** 进行模型训练和微调的争议，一些用户声称获得了成功，而另一些用户则指出由于过时的 **CUDA** 支持而存在的局限性。

提到的链接：

Reddit - 深入探索：未找到描述
HWiNFO - 免费系统信息、监控和诊断：免费硬件分析、监控和报告。深入的硬件信息、实时系统监控、报告等
GitHub - ggerganov/llama.cpp: C/C++ 实现的 LLM 推理：C/C++ 实现的 LLM 推理。通过在 GitHub 上创建账号为 ggerganov/llama.cpp 做出贡献。

--- **LM Studio ▷ #[🧪-beta-releases-chat](https://discord.com/channels/1110598183144399058/1166577236325965844/1225887364434624541)** (30 条消息🔥): - **Beta 版本号混淆问题已解决**：针对版本号混淆的问题，向成员澄清了 Beta 版本可能不会立即反映正确的版本号，正式发布时会进行更改。 - **LM Studio Beta 0.2.19 发布**：**LM Studio 0.2.19 Beta** 已发布，支持通过本地服务器进行 Text Embeddings，可在 Beta Releases 栏目下载。 - **ROCm 版本延迟但广受好评**：提到 **ROCm 版本**往往比主版本落后一个版本，但尽管如此且存在一些 Bug，成员们仍认为其表现出色且易于使用。 - **MacOS 在 0.2.19 版本下崩溃**：一位用户报告了 **MacOS 上 0.2.19** 版本的反复崩溃问题，这与特定模型的 Context Window 有关，表明这是一个综合性问题。 - **量化 Embedding 模型与 GGUF 转换**：关于为 GGUF 格式量化更多 Embedding 模型的积极讨论促成了新模型的转换与分享，Model Cards 将很快发布。

提到的链接：

👾 LM Studio - 发现并运行本地 LLMs：查找、下载并实验本地 LLMs
Leonardo Dicaprio 鼓掌 GIF - Leonardo Dicaprio Clapping Clap - 发现并分享 GIFs：点击查看 GIF

--- **LM Studio ▷ #[autogen](https://discord.com/channels/1110598183144399058/1167546228813336686/1225890061686538282)** (17 条消息🔥): - **更好的 Multi-Agent 系统即将到来**：.j4ys0n 宣布即将发布其自带**用户界面 (UI)** 的 Multi-Agent 系统，认为这是现有系统问题的解决方案，并强调它不像 **CrewAI** 那样需要用户编写代码。 - **UI 带来的易用性优势**：.j4ys0n 的工具定位为“傻瓜式”解决方案，无需编程即可提供易用性，而 **CrewAI** 仍需要代码。 - **域名注册警示**：.j4ys0n 表示在域名注册之前不愿分享新项目的截图，以避免“域名抢注”，而 heyitsyorkie 则强调了尽快确保域名所有权的重要性。 - **开发重心**：.j4ys0n 提到将更多时间投入到项目开发而非日常工作任务中，认为鉴于目前取得的进展，这是**正确的选择**。 - **修改 datamodel.py 作为临时解决方案**：mmonir 分享了一个问题的解决方案，建议修改 `datamodel.py`（将 `max_tokens` 更改为 `3000`），并引用了 GitHub 上关于 **Autogen Studio** 的一个未解决 Bug ([Bug 报告在此](https://github.com/microsoft/autogen/issues/2050))。 **提到的链接**：[Bug]: [autogenstudio] agent llm 发送 max_tokens: null · Issue #2050 · microsoft/autogen：描述 Bug：当 max_tokens 参数为 None 时，Agent 发送的 /v1/chat/completions 帧中 max_tokens 为 null。在这种情况下，LLM 无法理解并在第二个 Token 后停止... --- **LM Studio ▷ #[langchain](https://discord.com/channels/1110598183144399058/1167546793656062063/1226634657567870986)** (4 条消息): - **在寻找 Notebook 吗？**：一位成员询问是否有 Notebook，可能是想寻求共享资源或工作示例。 - **Substack 文章预告**：另一位成员提供了他们撰写的 [Substack 文章](https://substack.com/home/post/p-143137776?source=queue)，暗示其中可能包含有价值的见解或信息。 **提到的链接**：从 OpenAI API 切换到本地 LLM：关于我们上一篇使用 LangChain 和 Node 构建 RAG Agent 文章的小型后续博文。 --- **LM Studio ▷ #[amd-rocm-tech-preview](https://discord.com/channels/1110598183144399058/1195858490338594866/1225785291629920318)** (97 条消息🔥🔥): - **GPU Target 覆盖咨询**：一位成员询问是否可以像 Linux 上那样通过 `HCC_AMDGPU_TARGET=gfx1030` 覆盖 GPU Target，并引用了 [Reddit](https://www.reddit.com/r/Amd/comments/13e6jav/comment/jn8v5n5/) 上的讨论。然而，官方澄清在当前的 Linux 版本中，用户只能使用 OpenCL 进行 GPU 加速。 - **LM Studio 0.2.19 ROCm 预览 Beta 版发布**：发布了 **LM Studio 0.2.19 ROCm 预览 Beta 版**的公告，重点介绍了对 Text Embedding 模型的新支持、针对 ROCm iGPU 问题的候选修复以及其他 Bug 修复。社区成员被告知可以从 [LM Studio with ROCm](https://lmstudio.ai/rocm) 下载 Beta 版，尽管版本号可能仍显示为 0.2.18。 - **关于不同 GPU 的 ROCm 支持的困惑**：社区成员正在讨论并询问新版 ROCm 是否支持混合使用不同的 GPU（如 RX 5000 和 RX 6000 系列），其中一位成员表示使用 hipblas 和 Vulkan 成功运行了混合 AMD GPU。 - **AMD 对限制 GRE 至 2.8GHz 保持沉默**：用户对 AMD 将 GRE 限制在 2.8 GHz 表示沮丧，并希望发布自定义 BIOS。一位成员表示，只有 AMD 内部人员冒着丢掉工作的风险才可能发布此类 BIOS。 - **ROCm 0.2.19 Beta 调试进行中**：多名用户报告了最新 ROCm beta 版出现 "exit 42" 错误，促使官方分享了一个详细调试版本 (verbose debug build) 以供进一步调查。鼓励参与者下载该详细版本，尝试加载模型，并提交应用日志进行故障排除。

提到的链接：

👾 LM Studio - 发现并运行本地 LLMs：查找、下载并实验本地 LLMs
未找到标题：未找到描述
系统要求 (Windows) — HIP SDK Windows 安装：未找到描述
如何在你的 AMD Ryzen™ AI PC 或 Radeon 显卡上运行大语言模型 (LLM)：你知道可以在你的 Ryzen™ AI PC 或 Radeon™ 7000 系列显卡上运行你自己的基于 GPT 的 LLM 驱动的 AI 聊天机器人实例吗？AI 助手正迅速成为必不可少的资源...
Reddit - 深入探索：未找到描述

--- **LM Studio ▷ #[model-announcements](https://discord.com/channels/1110598183144399058/1225909444727013466/1225910988717559972)** (3 条消息): - **模型发布中心**：发布了一系列新模型，包括 **Starling-LM 7B**、**c4ai command r v01**、**stable-code-instruct-3b**、**dolphin 2.8 mistral 7b v02** 和 **Hyperion 3.0 Mistral 7B**。公告邀请用户[查看这些模型](https://huggingface.co/lmstudio-community)并关注后续更新。 - **介绍 Qwen 1.5 32B Chat**：发布了一个新模型 **Qwen 1.5 32B Chat**，它是 Qwen2 家族的一部分，具有增强的多轮对话能力。感兴趣的用户可以在[模型卡片和 LM Studio 应用](https://huggingface.co/lmstudio-community/Qwen1.5-32B-Chat-GGUF)中找到更多详情。 - **Gemma 在 2B 规模表现出色**：Google 的 **Gemma 1.1 2B** 模型表现令人印象深刻，仅使用 *3GB 内存* 即可高速输出连贯内容。该模型已上线，但正如[模型页面](https://huggingface.co/lmstudio-community/gemma-1.1-2b-it-GGUF)所述，7B 版本在发布前需要在 LM Studio 设置中进行优化调整。 --- **HuggingFace ▷ #[announcements](https://discord.com/channels/879548962464493619/897387888663232554/1225904914312597666)** (4 条消息): - **丰富的资源与演示**：社区分享了各种资源，包括 [神经符号 Agent 系统仓库](https://github.com/SynaLinks/HybridAGI)、PyG 生态系统内的数据集集成，以及具有函数调用（function calling）能力的模型 Octopus 的演示。其他内容还包括超图数据集的可视化、用于大语言模型的 TensorLM Gradio UI，以及宣布推出 Aurora-M，这是一个多语言持续预训练语言模型。 - **技术与思想领导力展示**：社区成员发布了一个新的多主题图像节点包，发表了关于 AI 时代电影未来的 TED 演讲，并发布了一个用于复现研究论文的开源仓库。其他亮点包括关于使用虚拟容器保护 Python 应用的视频、SaaS 模板演示、寻线机器人演示，以及 DagsHub + Colab 在数据管理方面的深度集成。 - **简化工作的软件**：社区提供了 LLMinator（一个上下文感知的流式聊天机器人）和 ClipboardConqueror（一个减少上下文切换的工具），以提高使用大语言模型的工作效率。 - **发人深省的阅读材料与 AI 工具**：成员们贡献了讨论各种 AI 相关主题的博客文章，例如使用 LASER 技术评估 SVD 压缩以及理解扩散模型（diffusion models）。此外还分享了关于使用 HuggingFace 构建自定义架构以及 AI 计算复杂度层级的文章。 - **关注多语言 LLM 创新**：Aurora-M 的博客文章被建议作为下一个阅读小组的潜在主题，强调了多语言和安全 AI 发展的重要性。 **提到的链接**：Aurora-M：首个经过拜登-哈里斯行政命令红队测试的开源多语言语言模型：未找到描述 --- **HuggingFace ▷ #[general](https://discord.com/channels/879548962464493619/879548962464493622/1225759129054740480)** (372 messages🔥🔥): - **探索使用 SageMaker 和 TGI 进行部署**：一位用户正在考虑使用 TensorRT 配合 SageMaker 而非 TGI 部署模型的可行性，并寻求在基于网页的云计算资源上更新其内核版本的方法。 - **对针对 PDF 的自定义 ChatGPT 的兴趣**：为了开发一个专门针对 PDF 的独特 ChatGPT 应用，一位用户正在征集创意，以便在大学竞赛中脱颖而出。 - **寻求 ML 硬件基准测试工具**：用户正在讨论用于 ML/AI 任务的硬件基准测试工具；推荐将 MLPerf 作为开源（FOSS）基准测试套件，其中包含 GPT-J 6B 和 Llama 2 70B 推理的测试轨道。 - **SageMaker 多 GPU 训练问题**：关于在使用 SageMaker 和 diffusers 进行多 GPU 训练时遇到的问题进行了交流，包括 SIGSEGV 错误和环境变量消息。 - **请求响应中的 Token 计数信息**：一位用户询问 Hugging Face SageMaker 库在调用 `.predict` 时是否可以提供响应中的 Token 数量。

提到的链接：

Just Say the Name: Online Continual Learning with Category Names Only via Data Generation：只需说出名称：通过数据生成仅使用类别名称进行在线持续学习。在现实场景中，由于成本高昂，为持续学习进行大规模手动标注是不切实际的。虽然受大规模网络监督训练影响的先前技术建议...
HuggingFaceTB/cosmo-1b · Hugging Face：未找到描述
Train and deploy Hugging Face on Amazon SageMaker：在 Amazon SageMaker 上训练和部署 Hugging Face：未找到描述
RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int; but got MPSFloatType instead (while checking arguments for embedding)：我正尝试通过输入图像和文本来训练一个多模态模型以输出文本。这是我的架构；（假设 batch size=1）我使用 ViT（来自 Hugging Face）来转换图像 (1, 3...
Question answering using embeddings-based search | OpenAI Cookbook：使用基于 Embedding 搜索的问答 | OpenAI Cookbook：未找到描述
NexaAIDev/Octopus-v2 · Hugging Face：未找到描述
Deploy models to Amazon SageMaker：将模型部署到 Amazon SageMaker：未找到描述
Launchers：未找到描述
Reddit - Dive into anything：未找到描述
Total noob’s intro to Hugging Face Transformers：纯小白的 Hugging Face Transformers 入门指南：未找到描述
facebook/bart-large-cnn · Hugging Face：未找到描述
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval：二进制和标量 Embedding 量化，实现显著更快且更便宜的检索：未找到描述
no title found：未找到描述
GitHub - Haoming02/sd-webui-diffusion-cg: An Extension for Automatic1111 Webui that performs color grading based on the latent tensor value range：GitHub - Haoming02/sd-webui-diffusion-cg：一个用于 Automatic1111 Webui 的扩展，基于 latent tensor 值范围进行调色 - Haoming02/sd-webui-diffusion-cg
Train a diffusion model：训练一个 Diffusion 模型：未找到描述
Reddit - Dive into anything：未找到描述
Streamer - a Hugging Face Space by Yakova：未找到描述
Your own ChatGPT for $0.04/hr - With Ollama, ChatUI & Salad：每小时 0.04 美元构建你自己的 ChatGPT - 使用 Ollama, ChatUI 和 Salad：我们探索了如何仅用每小时 0.04 美元，通过 Ollama, Hugging Face Chat UI 和 SaladCloud 构建你自己的 ChatGPT。
CUDA semantics — PyTorch 2.2 documentation：未找到描述
peft/examples/int8_training/peft_bnb_whisper_large_v2_training.ipynb at main · huggingface/peft：🤗 PEFT: 尖端的参数高效微调 (Parameter-Efficient Fine-Tuning)。 - huggingface/peft
huggingface-sagemaker-workshop-series/workshop_1_getting_started_with_amazon_sagemaker/lab_1_default_training.ipynb at main · philschmid/huggingface-sagemaker-workshop-series：使用 Hugging Face 和 SageMaker 的企业级 NLP 工作坊系列 - philschmid/huggingface-sagemaker-workshop-series
A beginner's guide to building a Retrieval Augmented Generation (RAG) application from scratch：从零开始构建检索增强生成 (RAG) 应用的初学者指南：本文将教你 RAG 背后的基本直觉，并提供一个简单的教程帮助你入门。
GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet：GitHub - Mikubill/sd-webui-controlnet：用于 ControlNet 的 WebUI 扩展：用于 ControlNet 的 WebUI 扩展。贡献...
通过在 GitHub 上创建账号来参与 Mikubill/sd-webui-controlnet 的开发。
AllenNLP-Coreference-Resolution-in-Python-Readable-clusters/allennlp_coref.py (master 分支) · guananya/AllenNLP-Coreference-Resolution-in-Python-Readable-clusters：在 Python 中使用 AllenNLP 指代消解（获取真正可读的聚类） - guananya/AllenNLP-Coreference-Resolution-in-Python-Readable-clusters
ProsusAI/finbert · Hugging Face：未找到描述
Entity-Level Sentiment Analysis (ELSA): An exploratory task survey：本文探讨了识别文档中对意志实体（个人和组织）表达的整体情感的任务——即我们所说的 Entity-Level Sentiment Analysis...

提到的链接：

Collate Preview：改变你的日常学习
15 Minute Meeting - Vel Yanchina：未找到描述

提到的链接：

Mixture-of-Depths: Dynamically allocating compute in transformer-based language models：基于 Transformer 的语言模型在输入序列上均匀分布 FLOPs。在这项工作中，我们证明了 Transformer 反而可以学习将 FLOPs（或计算量）动态分配给特定的...
PIDNet: A Real-time Semantic Segmentation Network Inspired by PID Controllers：双分支网络架构在实时语义分割任务中已显示出其效率和有效性。然而，高分辨率细节和低频上下文的直接融合具有...
Crescendo ：多轮 LLM 越狱攻击
Hugging Face + Langchain in 5 mins | Access 200k+ FREE AI models for your AI apps：学习如何使用 Hugging Face，并在免费使用 Langchain 构建应用的同时访问 20 万+ AI 模型。🔗 链接 - Hugging Face 教程：https://hf.co/tasks- ...

提到的链接：

来自 Kheem Chandra (@dhanikkcs) 的推文：我创建了一个 Telegram 机器人。它由 Gemini 1.5 Pro 驱动。你可以通过视频、图像或文本格式与其聊天。机器人名称："int_gem_bot" 链接：https://telegram.me/int_gem_bot 试试看...
MrBeast 的创意天才 AI 机器人 :)：我是所有 AI 机器人中的 Beast！我加载了大量 MrBeast 最疯狂、最具创新性的内容。这就像获得了进入他那令人惊叹的大脑的独家后台权限...
RMBG1.4 with imageslider - 由 not-lain 创建的 Hugging Face Space：未找到描述
RAG - 由 not-lain 创建的 Hugging Face Space：未找到描述
BrushNet - 由 TencentARC 创建的 Hugging Face Space：未找到描述
The Unreasonable Ineffectiveness of the Deeper Layers：未找到描述
GitHub - ehristoforu/TensorLM-webui: 基于 LLaMA 的 LLM 模型简单现代的 WebUI。：基于 LLaMA 的 LLM 模型简单现代的 WebUI。- ehristoforu/TensorLM-webui
GitHub - RooTender/augmentator: 开箱即用的图像增强工具：开箱即用的图像增强工具。通过在 GitHub 上创建账号来为 RooTender/augmentator 的开发做出贡献。
Where's My Pic 演示：大家好，我是 Om Alve，在这个视频中，我将演示我的项目 "Where's my pic?"。这个项目解决了在...中搜索的问题。
GitHub - abhaskumarsinha/Corpus2GPT: CustomGPTBuilder: 一个允许用户在多样化数据集（包括本地语言和各种语料库类型）上训练自己的 GPT 模型的项目，使用 Keras 并兼容 TensorFlow, PyTorch 或 JAX 后端，以便后续存储或共享。：CustomGPTBuilder：一个允许用户在多样化数据集（包括本地语言和各种语料库类型）上训练自己的 GPT 模型的项目，使用 Keras 并兼容 TensorFlow, PyTorch...
最便宜的 GPT-4 Turbo, GPT 4 Vision, ChatGPT OpenAI AI API 接口文档 (NextAPI) | RapidAPI：未找到描述
GitHub - hegdeadithyak/PaperReplica: 我们复现 AI 和 ML 领域的研究论文。：我们复现 AI 和 ML 领域的研究论文。- hegdeadithyak/PaperReplica
GitHub - SynaLinks/HybridAGI: 可编程的神经符号 AGI，允许你使用基于图的 Prompt Programming 来编程其行为：适用于希望 AI 表现符合预期的人群：可编程的神经符号 AGI，允许你使用基于图的 Prompt Programming 来编程其行为：适用于希望 AI 表现符合预期的人群 - SynaLinks/HybridAGI
GitHub - suprasauce/RNN_MEDIUM：通过在 GitHub 上创建账号来为 suprasauce/RNN_MEDIUM 的开发做出贡献。
ai-voice-cloning：旨在通过 AI 进行语音克隆的实用工具集
GitHub - maepopi/audio-dataset-manager: 一款专为 TTS 和语音克隆准备有声读物或大型音频而设计的全能工具。：一款专为 TTS 和语音克隆准备有声读物或大型音频而设计的全能工具。- maepopi/audio-dataset-manager

GitHub - isamu-isozaki/huggingface-reading-group: This repository's goal is to precompile all past presentations of the Huggingface reading group

提到的链接：

Model Memory Utility - a Hugging Face Space by hf-accelerate：未找到描述
X-CLIP：未找到描述

提及的链接：

Ring Attention with Blockwise Transformers for Near-Infinite Context：Transformers 已成为许多最先进 AI 模型的首选架构，在广泛的 AI 应用中展现出卓越的性能。然而，内存需求...
mm ref：未找到描述
CUDA semantics — PyTorch 2.2 documentation：未找到描述

Stanford CS224N: Natural Language Processing with Deep Learning | 2023

提到的链接：

Mojo Manual | Modular Docs：Mojo 编程语言的全面指南。
Variables | Modular Docs：Mojo 变量介绍。
GitHub - modularml/max: A collection of sample programs, notebooks, and tools which highlight the power of the MAX platform：展示 MAX 平台强大功能的示例程序、notebooks 和工具集 - modularml/max
GitHub - saviorand/lightbug_http: Simple and fast HTTP framework for Mojo! 🔥：适用于 Mojo 的简单且快速的 HTTP 框架！🔥。通过在 GitHub 上创建账号为 saviorand/lightbug_http 做出贡献。
GitHub - rust-lang/rustlings: :crab: Small exercises to get you used to reading and writing Rust code!：🦀 让你习惯阅读和编写 Rust 代码的小练习！- rust-lang/rustlings
exercises：通过修复损坏的小程序来学习 Zig 编程语言。
GitHub - dbusteed/mojolings: Learn to read and write Mojo code by fixing small programs：通过修复小程序学习阅读和编写 Mojo 代码 - dbusteed/mojolings

提及链接：

Modular: Modular partners with Amazon Web Services (AWS) to bring MAX to AWS services：我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：Modular 与 Amazon Web Services (AWS) 合作，将 MAX 引入 AWS 服务
Modular: How to Contribute to Mojo Standard Library: A Step-by-Step Guide：我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：如何为 Mojo 标准库做贡献：分步指南

提及链接：

Angry Anger GIF - Angry Anger Pixar - 发现并分享 GIF: 点击查看 GIF
You Make A Compelling Argument Simon Hardwick GIF - You Make A Compelling Argument Simon Hardwick Blood And Treasure - 发现并分享 GIF: 点击查看 GIF
Rust Is Hard, Or: The Misery of Mainstream Programming: 未找到描述
[BUG]: 类型检查器的行为不一致（某些表达式在类型检查之前被处理） · Issue #1702 · modularml/mojo: Bug 描述我最近一直在尝试理解类型检查器如何推导类型的等价性。我注意到了一些不一致之处和潜在的 Bug。这些在...中得到了演示。
mojo/stdlib/src/collections/list.mojo at main · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
[Feature Request] 允许参数化实例化 (parametric materialization) · Issue #2100 · modularml/mojo: 审查 Mojo 的优先级我已经阅读了路线图和优先级，并相信此请求符合优先级。你的请求是什么？允许不可实例化类型的参数化实例化...
GitHub - modularml/max: 突出 MAX 平台强大功能的示例程序、笔记本和工具集合: 突出 MAX 平台强大功能的示例程序、笔记本和工具集合 - modularml/max
Modular: Mojo🔥 ♥️ Python: 使用 Mojo 和 Python 计算并绘制情人节 ♥️: 我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：Mojo🔥 ♥️ Python: 使用 Mojo 和 Python 计算并绘制情人节 ♥️
devrel-extras/blogs at main · modularml/devrel-extras: 包含开发者关系博客文章、视频和研讨会的辅助材料 - modularml/devrel-extras
Chris Lattner: 编程与 AI 的未来 | Lex Fridman Podcast #381: Chris Lattner 是一位传奇的软件和硬件工程师，曾在 Apple、Tesla、Google、SiFive 和 Modular AI 领导项目，包括开发 S...
mo - 概览: mo 有 49 个可用的仓库。在 GitHub 上关注他们的代码。
mojo/stdlib/docs/style-guide.md at nightly · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
[BUG]: 自引用 Variant 导致编译器崩溃 · Issue #1837 · modularml/mojo: Bug 描述 from utils.variant import Variant from collections.vector import DynamicVector @value struct Value(CollectionElement): alias Variant = Variant[Float64, DynamicVector[Value]] var _va...
mojo/stdlib/src/collections/dict.mojo at main · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
GitHub - RustPython/RustPython: 用 Rust 编写的 Python 解释器: 用 Rust 编写的 Python 解释器。通过在 GitHub 上创建账号来为 RustPython/RustPython 的开发做出贡献。
cpython/Objects/dictobject.c at main · python/cpython: Python 编程语言。通过在 GitHub 上创建账号来为 python/cpython 的开发做出贡献。
mojo/stdlib/src/collections/dict.mojo at main · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。

提到的链接：

GitHub - kernhanda/mojo-packages: A place to find and share packages for the Mojo language: 查找和分享 Mojo 语言包的地方 - kernhanda/mojo-packages
GitHub - aizzf/mamba.mojo: Mamba in pure mojo from model to inference and train.: 从模型到推理和训练的纯 Mojo 版 Mamba - aizzf/mamba.mojo
GitHub - kernhanda/mojopack: mojopack is a tool for managing packages for the Mojo programming language: mojopack 是一个用于管理 Mojo 编程语言包的工具 - kernhanda/mojopack
GitHub - leandrolcampos/specials: Special functions with hardware acceleration: 具有硬件加速功能的特殊函数。通过在 GitHub 上创建账号为 leandrolcampos/specials 的开发做出贡献。
GitHub - Hammad-hab/pkm: Mojo's unoffical package manager: Mojo 的非官方包管理器。通过在 GitHub 上创建账号为 Hammad-hab/pkm 的开发做出贡献。

提到的链接：

Joy of Mojo 🔥: 这是 Joy of Mojo
GitHub - kernhanda/mojo-packages: 一个寻找和分享 Mojo 语言包的地方: 一个寻找和分享 Mojo 语言包的地方 - kernhanda/mojo-packages
GitHub - kernhanda/mojopack: mojopack 是一个用于管理 Mojo 编程语言包的工具: mojopack 是一个用于管理 Mojo 编程语言包的工具 - kernhanda/mojopack

提到的链接：

在 Git 中设置用户名 - GitHub Docs: 未找到描述
修复当步长为负数时 List 切片和 String 切片以匹配 Python · modularml/mojo · Discussion #2234: 我想修复 issue #1944、#2046 和 #2142。这些是关于 List 的，但 String 也存在同样的问题。我实际上已经在这里完成了一个修复，并在该 commit 中进行了有趣的尝试。该实现只是...
比较 1a8f912..1bce16d · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
mojo/stdlib/test/lit.cfg.py 位于 738901dec1058612d8f01fd13e13a3e09103944f · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
pathlib — 面向对象的文件系统路径: 源代码：Lib/pathlib.py。该模块提供的类代表了具有适用于不同操作系统的语义的文件系统路径。路径类分为纯路径（pure paths）...
比较 1a8f912..1bce1 · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。
通过设置自动执行 --signoff · Issue #83096 · microsoft/vscode: 目前看来，你可以通过打开 git commit 下拉菜单并选择 signoff 来在 git commit 中使用 -s 或 --signoff 命令。这是作为 #7010 的“修复”实现的...
GitHub - rd4com/mojo_branch 的 nightly 分支: Mojo 编程语言。通过在 GitHub 上创建账号来为 rd4com/mojo_branch 的开发做出贡献。
[stdlib] 由 helehex 添加 `reversed` · Pull Request #2215 · modularml/mojo: 添加了 reversed() 的初步实现，用于获取 range 或 list 的反向迭代器。这并非最终版本，因为迭代器尚未完全开发完成，但目前可以使用...
mojo/docs/changelog.md 的 nightly 分支 · modularml/mojo: Mojo 编程语言。通过在 GitHub 上创建账号来为 modularml/mojo 的开发做出贡献。

提到的链接：

Smerity.com: The WikiText Long Term Dependency Language Modeling Dataset (2016): 未找到描述
segyges/wikitext-103 at main: 未找到描述
wikitext at main: 未找到描述
GitHub - lucidrains/gateloop-transformer: Implementation of GateLoop Transformer in Pytorch and Jax: 在 Pytorch 和 Jax 中实现 GateLoop Transformer - lucidrains/gateloop-transformer
GitHub - tobiaskatsch/GatedLinearRNN: 通过在 GitHub 上创建账户来为 tobiaskatsch/GatedLinearRNN 的开发做出贡献。
Model index for researchers - OpenAI API: 未找到描述

提到的链接：

来自 Kyo (@kyo_takano) 的推文：一些 ScheduleFree 优于 Adam/SGD 的数据点：- LM/GPT (@eric_alcaide) https://twitter.com/eric_alcaide/status/1776571679524683950 - CIFAR10/ResNet18 (@Sree_Harsha_N) https://twitter.com/S...
来自 Aaron Defazio (@aaron_defazio) 的推文：Schedule-Free 学习 https://github.com/facebookresearch/schedule_free 我们现在已经开源了我那一系列神秘图表背后的算法。每张图表要么是 Schedule-free SGD，要么是 Adam，没有...
来自 Aran Komatsuzaki (@arankomatsuzaki) 的推文：没有指数级数据就没有 “Zero-Shot”：预训练概念频率决定多模态模型性能。代码库：https://github.com/bethgelab/frequency_determines_performance hf：https://huggingf...
从 Loss 视角理解语言模型的涌现能力：最近的研究对语言模型的涌现能力是大模型特有的这一观点提出了质疑。这种怀疑源于两个观察：1) 较小的模型也可以表现出...
策略优化的 Batch size 不变性：如果 Batch size 的变化可以在很大程度上通过其他超参数的变化来补偿，我们就说该算法具有 Batch size 不变性。众所周知，随机梯度下降（SGD）具有这种属性...
Stream of Search (SoS)：在语言中学习搜索：语言模型在训练过程中很少看到有益的错误。因此，它们很难看透下一个 token 之外的内容，遭受误差滚雪球的影响，并难以预测后果...
更多 Agent 就是你所需要的一切：我们发现，仅通过采样与投票方法，大语言模型（LLMs）的性能就会随着实例化的 Agent 数量而扩展。此外，该方法与现有的复杂方法是正交的...
超收敛：使用大学习率极速训练神经网络：在本文中，我们描述了一种被称为 “超收敛” 的现象，即神经网络的训练速度可以比标准训练方法快一个数量级。存在...
大语言模型难以学习长尾知识：互联网包含丰富的知识——从历史人物的生日到如何编码的教程——所有这些都可能被语言模型学习。然而，虽然某些片段...
学习率嫁接：优化器调优的可迁移性：在训练大型神经网络的经验科学中，学习率调度是一个众所周知难以调优的超参数，它可能取决于所有其他属性（架构...）
AutoWebGLM：引导并强化基于大语言模型的网页导航 Agent：大语言模型（LLMs）推动了许多智能 Agent 任务，例如网页导航——但由于三个因素，大多数现有 Agent 在真实网页中的表现远不尽如人意：(1) ...
入门指南：安装 TorchStudio，加载数据集，构建并训练...
GitHub - facebookresearch/schedule_free: PyTorch 中的 Schedule-Free 优化：PyTorch 中的 Schedule-Free 优化。通过在 GitHub 上创建账号来为 facebookresearch/schedule_free 的开发做出贡献。
GitHub - drukpa1455/fractal-gnn: 分形图神经网络探索：分形图神经网络探索。通过在 GitHub 上创建账号来为 drukpa1455/fractal-gnn 的开发做出贡献。

GitHub - ndif-team/nnsight: The nnsight package enables interpreting and manipulating the internals of deep learned models.

提到的链接：

Google Colaboratory：未找到描述
vllm/vllm/model_executor/layers/sampler.py at b4543c8f6bf67a7f1a0d6d0fd6cf5697c7eeaabb · vllm-project/vllm：一个针对 LLM 的高吞吐量且显存高效的推理与服务引擎 - vllm-project/vllm
lm-evaluation-harness/lm_eval/models/vllm_causallms.py at e9a405431989fe30fe3c54a54ddc2c494a6a9e16 · EleutherAI/lm-evaluation-harness：一个用于语言模型 few-shot 评估的框架。- EleutherAI/lm-evaluation-harness
Weave: chain_of_thought_eval_results (24/04/08 02:23:54)：通过性能指标、预测和超参数的交互式图表发布您的模型洞察。由 Nguyen Nhat Minh 使用 W&B 制作
Weave: chain_of_thought_eval_results (24/04/08 02:25:08)：通过性能指标、预测和超参数的交互式图表发布您的模型洞察。由 Nguyen Nhat Minh 使用 W&B 制作
GitHub - EleutherAI/lm-evaluation-harness at e9a405431989fe30fe3c54a54ddc2c494a6a9e16：一个用于语言模型 few-shot 评估的框架。- GitHub - EleutherAI/lm-evaluation-harness at e9a405431989fe30fe3c54a54ddc2c494a6a9e16

Wow Really GIF - Wow Really - Discover & Share GIFs

提到的链接：

DBRX 132B Instruct by databricks | OpenRouter: DBRX 是由 Databricks 开发的新型开源大语言模型。参数量为 132B，在语言的标准行业基准测试中优于现有的开源 LLMs，如 Llama 2 70B 和 Mixtral-8x7B...
Command R+ by cohere | OpenRouter: Command R+ 是来自 Cohere 的新型 104B 参数 LLM。它适用于角色扮演、通用消费者用例和检索增强生成 (RAG)。它为十种主要语言提供多语言支持...

Rock, Paper, Scissors Game by Blust.AI

提到的链接：

LibreChat：增强版 ChatGPT 克隆，支持 OpenAI, Azure, Mistral, Anthropic, Google, Ollama, DALL-E-3 等模型。一个开源、多功能的 Web UI，支持无缝自托管和持续开发。
C4AI 可接受使用政策：未找到描述
Jan - OpenRouter：关于如何将 Jan 与 OpenRouter 集成的分步指南。
JSON Mode：未找到描述
Perplexity 的 Sonar 8x7B | OpenRouter：Sonar 是 Perplexity 最新的模型系列。它在性价比、速度和性能上超越了早期模型。该模型的联网版本为 [Sonar 8x7B Online](/mo...
OpenRouter：LLM 和其他 AI 模型的路由服务
OpenRouter：构建与模型无关的 AI 应用

提到的链接：

LlamaIndex - LlamaIndex: 未找到描述
SimpleDirectoryReader - LlamaIndex: 未找到描述
未找到标题: 未找到描述
ReAct Agent - 带有计算器工具的简单介绍 - LlamaIndex: 未找到描述
使用 LLMs - LlamaIndex: 未找到描述
发布首个 GenAI 原生文档解析平台 — LlamaIndex，LLM 应用的数据框架: LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型 (LLMs)。
介绍 LlamaCloud 和 LlamaParse — LlamaIndex，LLM 应用的数据框架: LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型 (LLMs)。
llama_index/llama-index-integrations/readers/llama-index-readers-file/llama_index/readers/file/docs/base.py at 9163067027ea8222e9fe5bffff9a2fac26b57686 · run-llama/llama_index: LlamaIndex 是适用于你的 LLM 应用的数据框架 - run-llama/llama_index
llama_index/llama-index-core/llama_index/core/indices/utils.py at main · run-llama/llama_index: LlamaIndex 是适用于你的 LLM 应用的数据框架 - run-llama/llama_index
使用 Azure OpenAI GPT-4V 模型进行图像推理的多模态 LLM - LlamaIndex: 未找到描述
llama_index/llama-index-legacy/llama_index/legacy/readers/file/image_reader.py at main · run-llama/llama_index: LlamaIndex 是适用于你的 LLM 应用的数据框架 - run-llama/llama_index
Auto Merging Retriever - LlamaIndex: 未找到描述
GitHub - run-llama/llama_index at 9163067027ea8222e9fe5bffff9a2fac26b57686: LlamaIndex 是适用于你的 LLM 应用的数据框架 - GitHub - run-llama/llama_index at 9163067027ea8222e9fe5bffff9a2fac26b57686
存储 - LlamaIndex: 未找到描述
索引与嵌入 - LlamaIndex: 未找到描述

加入 Open Interpreter Discord 服务器！

提到的链接：

未找到标题：未找到描述
未找到标题：未找到描述
Language Model - 01：未找到描述
Linux `dmesg` 访问问题 · Issue #226 · OpenInterpreter/01：描述 Bug。在某些 Linux 发行版（如 Arch、Debian 和 Fedora）上，software\source\server\utils\kernel.py 中的 get_kernel_messages 函数尝试访问一个不存在的文件...
GitHub - OpenInterpreter/01: 开源语言模型计算机：开源语言模型计算机。通过创建 GitHub 账号为 OpenInterpreter/01 的开发做出贡献。

提到的链接：

Microsoft Excel | 🦜️🔗 LangChain: UnstructuredExcelLoader 用于加载 Microsoft Excel 文件。
基于输入路由逻辑 | 🦜️🔗 LangChain: 根据输入动态路由逻辑}
基于输入路由逻辑 | 🦜️🔗 LangChain: 根据输入动态路由逻辑}
未找到标题: 未找到描述
SerpAPI Loader | 🦜️🔗 Langchain: 本指南展示了如何结合 SerpAPI 和 LangChain 来加载网页搜索结果。
快速入门 | 🦜️🔗 Langchain: 在本指南中，我们将介绍创建调用 Tools 的 Chains 和 Agents 的基本方法。Tools 可以是任何东西——API、函数、数据库等。Tools 允许我们扩展功能...
Entity | 🦜️🔗 LangChain: Entity memory 会记住对话中关于特定实体的给定事实。它（使用 LLM）提取有关实体的信息，并随着时间的推移（同样使用...）建立关于该实体的知识。
Lemon Agent | 🦜️🔗 LangChain: Lemon Agent 帮助您
提示策略 | 🦜️🔗 Langchain: 在本指南中，我们将介绍改进图（graph）的提示策略
🦜🕸️LangGraph | 🦜️🔗 LangChain: 下载
LangGraph | 🦜️🔗 Langchain: ⚡ 将语言 Agents 构建为图 ⚡
快速入门 | 🦜️🔗 LangChain: 快速入门}
文本摘要 | 🦜️🔗 LangChain: 在 Colab 中打开
市场调研: 我们诚邀您参与我们的市场调研。您的参与对于帮助我们公司更好地了解市场并改进我们的 MVP 至关重要。我们的调研旨在...
快速入门 | 🦜️🔗 Langchain: 在此快速入门中，我们将向您展示如何：
使用本地模型 | 🦜️🔗 LangChain: 诸如此类项目的流行
共同构建更好的软件: GitHub 是人们构建软件的地方。超过 1 亿人使用 GitHub 来发现、fork 并为超过 4.2 亿个项目做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号，为 langchain-ai/langchain 的开发做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账号，为 langchain-ai/langchain 的开发做出贡献。
快速入门 | 🦜️🔗 LangChain: 在此快速入门中，我们将向您展示如何：
LangGraph | 🦜️🔗 Langchain: ⚡ 将语言 Agents 构建为图 ⚡
community: 扩展 Predibase 集成以支持微调后的 LLM 适配器，由 alexsherstinsky 提交 · Pull Request #19979 · langchain-ai/langchain: PR 标题："package: description"，其中 "package" 是指被修改的 langchain、community、core、experimental 等包。纯文档更改请使用 "docs: ..." ...
langchain/libs/community/pyproject.toml 在 request-body-reference 分支 · anujmehta/langchain: 🦜🔗 构建上下文感知的推理 ng 应用。通过在 GitHub 上创建一个账号来为 anujmehta/langchain 的开发做出贡献。
langchain/libs/community/pyproject.toml at request-body-reference · anujmehta/langchain: 🦜🔗 构建上下文感知推理应用。通过在 GitHub 上创建一个账号来为 anujmehta/langchain 的开发做出贡献。

提到的链接：

ReAct | 🦜️🔗 Langchain: 本演练展示了如何使用 Agent 来实现 ReAct 逻辑。
JSON Chat Agent | 🦜️🔗 LangChain: 某些语言模型特别擅长编写 JSON。这个 Agent...
Artful - AI Art Generator - Google Play 上的应用: 未找到描述
Structuring | 🦜️🔗 LangChain: 检索中最重要的步骤之一是将文本输入转换为...
LangSmith: 未找到描述
LangSmith Walkthrough | 🦜️🔗 LangChain: 在 Colab 中打开
LangSmith Walkthrough | 🦜️🔗 Langchain: LangChain 使得构建 LLM 应用和 Agent 的原型变得简单。然而，将 LLM 应用交付到生产环境可能异常困难。你需要不断迭代你的 prompt、chain 以及...
GitHub - hupe1980/aisploit: 🤖🛡️🔍🔒🔑 旨在支持红队和渗透测试人员利用大语言模型 AI 解决方案的小型软件包。: 🤖🛡️🔍🔒🔑 旨在支持红队和渗透测试人员利用大语言模型 AI 解决方案的小型软件包。 - hupe1980/aisploit
这个 TypeScript 代码片段处理大量文本语料库，通过将其标记为句子、结合上下文、使用 OpenAI 的服务生成句子嵌入、计算余弦相似度以识别语义偏移，最后根据这些偏移将句子分组为语义内聚的块，从而输出语义块。: 这个 TypeScript 代码片段处理大量文本语料库，通过将其标记为句子、结合上下文、使用 OpenAI 的服务生成句子嵌入...
LangSmith: 未找到描述
Add chat history | 🦜️🔗 Langchain: 在许多问答应用中，我们希望允许用户拥有...
Add chat history | 🦜️🔗 LangChain: 在许多问答应用中，我们希望允许用户拥有...
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账户来为 langchain-ai/langchain 的开发做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账户来为 langchain-ai/langchain 的开发做出贡献。
Issues · langchain-ai/langchain: 🦜🔗 构建上下文感知的推理应用。通过在 GitHub 上创建账户来为 langchain-ai/langchain 的开发做出贡献。
Tool usage | 🦜️🔗 Langchain: 本节将介绍如何创建对话式 Agent：可以使用工具与其他系统和 API 交互的聊天机器人。

提到的链接：

来自 ʟᴇɢɪᴛ (@legit_rumors) 的推文：这是独家的新 udio AI 音乐生成 🫡 来源：匿名。匿名总是来源。
来自 moonbi⭕ (@lifeafterAi_) 的推文：此帖子已删除。看来 Suno 的竞争对手是 Nvidia 👀 顺便说一句，这听起来像 2pac 🔥🔥 @apples_jimmy 再次精准预测 🐐
stabilityai/cosxl · Hugging Face：未找到描述
Google Colaboratory：未找到描述
sonauto-platform：未找到描述
被 AI 取代的职业——对 500 万个自由职业岗位的分析 - bloomberry：毫无疑问，AI 将影响就业。但哪些工作更有可能被取代……
Open-Sora-Plan/docs/Report-v1.0.0.md at main · PKU-YuanGroup/Open-Sora-Plan：本项目旨在复现 Sora (Open AI T2V 模型)，但我们的资源有限。我们深切希望整个开源社区能为本项目做出贡献。- PKU-YuanGroup/Open-Sora-Plan
GitHub - facebookresearch/schedule_free: PyTorch 中的 Schedule-Free 优化：PyTorch 中的 Schedule-Free 优化。通过在 GitHub 上创建账号来为 facebookresearch/schedule_free 做出贡献。

提及的链接:

Mixture-of-Depths: Dynamically allocating compute in transformer-based language models: 基于 Transformer 的语言模型在输入序列上均匀分布 FLOPs。在这项工作中，我们证明了 Transformer 可以学会动态地将 FLOPs（或计算量）分配给特定的 ...
Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch: 在本文中，我们揭示了语言模型 (LMs) 可以通过吸收同源模型的参数来获得新能力，而无需重新训练或使用 GPU。我们首先引入 DARE 来设置大部分 delta...
Rick And Morty That Just Sounds Like Slavery With Extra Steps GIF - 瑞克和莫蒂这听起来就像是多加了几个步骤的奴役 GIF - 发现并分享 GIF: 点击查看 GIF
Language Modeling by Estimating the Ratios of the Data Distribution | Aaron Lou: 未找到描述
Reddit - 深入探索任何事物: 未找到描述
BrushNet - 迄今为止最好的 InPainting 方法？免费本地安装！: 使用最新的 BrushNet 模型结合 Stable Diffusion 进行 AI 生成的 Inpainting 非常有趣！得益于随机和分割...

提到的链接：

来自 Soumith Chintala (@soumithchintala) 的推文：@fchollet @JeffDean @GoogleDeepMind 坦白说，这是一个令人困惑的回应。你不能说基准测试 FP32 对比 TF32（仅仅是 dtype）是一种“编译器优化”。说实话，我有点...
来自 Chris Lattner (@clattner_llvm) 的推文：我既喜欢 PT 也喜欢 XLA/TF，很高兴看到你们在解决分歧。作为一个局外人，我们都希望 AI 能够获胜，所有的系统都能成功。如果有人想诉诸基准测试...
来自 Taelin (@VictorTaelin) 的推文：我错了——1万美元已被领走！ ## 声明两天前，我自信地声称“GPT 永远无法解决 A::B 问题”。我当时认为：1. GPT 无法真正学习新问题，出...
来自 Taelin (@VictorTaelin) 的推文：亲爱的日记，今天我教会了 1000 个人如何使用 interaction combinators，但代价是什么呢 ↘️ 引用 Taelin (@VictorTaelin) 一个 GPT 永远无法解决的简单谜题：作为一个优秀的程序员，我喜欢隔离...
来自 Taelin (@VictorTaelin) 的推文：我错了——1万美元已被领走！ ## 声明两天前，我自信地声称“GPT 永远无法解决 A::B 问题”。我当时认为：1. GPT 无法真正学习新问题，出...
来自 Greg Brockman (@gdb) 的推文：用 Sora 制作音乐视频：“这就是这首歌一直以来的‘样子’，只是现在我终于可以展示给你们看了。” https://www.youtube.com/watch?v=Se93p3gk_14
来自 Niels Rogge (@NielsRogge) 的推文：观看了一个关于 Ring Attention 的超级有趣的演讲，这大概就是 Gemini 100万上下文窗口背后的魔力。你将你的设备（GPU/TPU）组织成一个环，每个设备计算最终结果的一部分...
CS25: Transformers United!：讨论 Transformers 在不同领域的最新突破
More Agents Is All You Need：我们发现，仅仅通过采样与投票（sampling-and-voting）的方法，大语言模型（LLM）的性能就会随着实例化的 Agent 数量而提升。此外，这种方法与现有的复杂方法是正交的...
Brightwave：未找到描述
Notion – 笔记、任务、维基和数据库的一体化工作空间。：一款将日常工作应用融合在一起的新工具。它是为您和您的团队打造的一体化工作空间
利用摩尔定律创新数据中心 | 来自 ChinaTalk 的 48 秒剪辑：来自《对 Intel 和 Nvidia 的直觉检查》的 48 秒剪辑，参与者包括 Asianometry、Fabricated Knowledge 和 SemiAnalysis | ChinaTalk
Retrieval-Augmented Generation for Large Language Models: A Survey：大语言模型（LLM）展示了令人印象深刻的能力，但也面临幻觉、知识陈旧以及推理过程不透明、不可追溯等挑战。检索增强生成（Retrieval-Augmented Generation）...
RAG 的演进：解决简单 RAG 系统的常见问题：RAG 并非你所需的一切。本文将涵盖简单 RAG 系统中遇到的一些常见问题及其潜在解决方案。
来自 LlamaIndex 🦙 (@llama_index) 的推文：这是 @mesudarshan 的一个优秀教程，向您展示如何使用 LlamaParse 以及纯本地的 Embedding、LLM 和重排序（Reranking）模型（@GroqInc 和 @qdrant_en 的 FastEmbed）构建高级 PDF RAG...
来自 Andrew Ng (@AndrewYNg) 的推文：新的 JavaScript 短期课程：使用 JavaScript 构建一个使用 RAG 的全栈 Web 应用程序。JavaScript RAG Web Apps with LlamaIndex，由 @llama_index 的开发者关系副总裁兼 npm 联合创始人 @seldo 授课...
来自 LlamaIndex 🦙 (@llama_index) 的推文：使用 LlamaIndex 和 @MathpixApp 将复杂的数学公式解析并索引为 LaTeX，并回答有关科学论文的问题！查看这个详细的 Notebook，MathPix 将带您了解 ➡️ 解析...
来自 LlamaIndex 🦙 (@llama_index) 的推文： s/1761553473219551301">来自 LlamaIndex 🦙 (@llama_index) 的推文</a>：让我们一起探讨 RAG 的痛点及解决方案！🧑‍🏫🎬 我们很高兴邀请到 @wenqi_glantz 为她广受欢迎的“12 个 RAG 痛点及解决方案”博客文章制作视频演示，该文章是...
Modular：如何对你的性能基准测试充满信心：我们正在为世界构建下一代 AI 开发者平台。查看我们的最新文章：如何对你的性能基准测试（Performance Benchmarking）充满信心
报名参加实时语音 AI 与多模态黑客松 | Partiful：各位黑客朋友们好，AI Engineer Foundation（你友好的开源非营利邻居 - 网站：aie.foundation）正在举办一场实时交互/对话式多模态 AI 黑客松...
如何（用声音）与 LLM 对话：用于构建实时 AI WebRTC 应用程序的代码
LangMem - LangMem：未找到描述
未找到标题：未找到描述
我正在使用 1Password 与你分享一个项目：一个密码管理器、数字保险库、表单填充器和安全的数字钱包。1Password 会为你记住所有密码，帮助确保账户信息安全。
YouTube：未找到描述
LLMs + 机器人技术的前沿动态 - 2023：tldr 我写了一些更有趣的作品，这些作品塑造了我对将 LLMs 应用于 AI agents 和机器人应用的理解。简介：什么是 LLMs 狂热 - 一个警告。LLM 是否...
stanford-cs336/spring2024-assignment1-basics 仓库中的 cs336_spring2024_assignment1_basics.pdf：通过在 GitHub 上创建账户，为 stanford-cs336/spring2024-assignment1-basics 的开发做出贡献。
Eugene Cheah - 从创意到 LLM (RWKV / Recursal)：康奈尔科技学院开源生成式 AI 研讨会的演讲。网站：https://github.com/PicoCreator 幻灯片：https://drive.google.com/file/d/1-lfITA0j_9-...
可视化 Attention，Transformer 的核心 | 第 6 章，深度学习：揭秘 Attention，这是 Transformers 和 LLMs 内部的关键机制。这些课程不是通过赞助广告，而是由观众直接资助：https://3...
go-go-golems/bobatea 仓库中的 pkg/chat/README.md：自定义 bubbletea bubbles。通过在 GitHub 上创建账户，为 go-go-golems/bobatea 的开发做出贡献。
go-go-golems/bobatea 仓库中的 cmd/chat/backend.go：自定义 bubbletea bubbles。通过在 GitHub 上创建账户，为 go-go-golems/bobatea 的开发做出贡献。

提及的链接：

Level Up From Software Engineer to AI Engineer by Shawn "Swyx" Wang and Noah Hein on Maven：从入门到精通：学习如何构建真实的 AI 产品
Code a custom ChatGPT：这是 AI 产品的基石。如果你想成为一名 AI Engineer，这些是必修的主题和 API。从 ChatGPT 到强大的 AI 驱动的摘要和分类都使用了...
Latent Space Chats: NLW (Four Wars, GPT5), Josh Albrecht/Ali Rohde (TNAI), Dylan Patel/Semianalysis (Groq), Milind Naphade (Nvidia GTC), Personal AI (ft. Harrison Chase — LangFriend/LangMem)：5 个最近的 Latent Space 访谈，让你全面了解所有能想象到的 AI Engineering 话题。

提及的链接：

GitHub - logancyang/obsidian-copilot: A ChatGPT Copilot in Obsidian：Obsidian 中的 ChatGPT Copilot。通过在 GitHub 上创建账号来为 logancyang/obsidian-copilot 的开发做出贡献。
GitHub - Yakitrak/obsidian-cli: Interact with Obsidian in the terminal. Open, search, create, update, move and delete notes!：在终端中与 Obsidian 交互。打开、搜索、创建、更新、移动和删除笔记！- Yakitrak/obsidian-cli
AI In Action: Weekly Jam Sessions：2024 主题、日期、主持人、资源、GenAI 的 UI/UX 模式，1/26/2024，nuvic，<a href="https://maggieappleton.com/squish-structure">https://maggieappleton.com/squish-stru...
GitHub - danielmiessler/fabric: fabric is an open-source framework for augmenting humans using AI. It provides a modular framework for solving specific problems using a crowdsourced set of AI prompts that can be used anywhere.：fabric 是一个用于利用 AI 增强人类能力的开源框架。它提供了一个模块化框架，通过一组可随处使用的众包 AI prompts 来解决特定问题。- ...

提到的链接：

Introducing improvements to the fine-tuning API and expanding our custom models program：我们正在添加新功能，以帮助开发者更好地控制 fine-tuning，并宣布了使用 OpenAI 构建自定义模型的新方法。
R.AI.SE Summit：RAISE 是一个由 1,500 多名全球领导者参加的聚会，致力于探索 Generative AI 对商业和社会的变革力量。会议将于 2024 年 4 月 8 日在巴黎举行。
Build AI The Simple Way | Lepton AI：使用云原生平台，在几分钟内高效、大规模地运行 AI 应用程序。
Build software better, together：GitHub 是人们构建软件的地方。超过 1 亿人使用 GitHub 来发现、fork 并为超过 4.2 亿个项目做出贡献。
GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch：PyTorch 中的 Schedule-Free 优化。通过在 GitHub 上创建账号来为 facebookresearch/schedule_free 的开发做出贡献。
GitHub - jzhang38/EasyContext: Memory optimization and training recipes to extrapolate language models' context length to 1 million tokens, with minimal hardware.：内存优化和训练方案，旨在以最少的硬件将语言模型的上下文长度外推至 100 万个 token。- jzhang38/EasyContext
Add JetMoE model by yikangshen · Pull Request #30005 · huggingface/transformers：此 PR 做了什么？添加了对 Yikang Shen 和 MyShell AI 开发的 JetMoE 架构的支持。JetMoE 是一种受 ModuleFormer 启发的新型稀疏激活架构。每个 JetMoE 块由...组成。
R.AI.SE Summit：RAISE 是一个由 1,500 多名全球领导者参加的聚会，致力于探索 Generative AI 对商业和社会的变革力量。会议将于 2024 年 4 月 8 日在巴黎举行。

提到的链接：

来自 Aaron Defazio (@aaron_defazio) 的推文：@divideconcept 它需要那样调优。请参阅 caveats 部分的注释以获取建议的范围。0.0025 这个值对于 ScheduleFreeAdamW 似乎工作得非常可靠。
来自 Aaron Defazio (@aaron_defazio) 的推文：Schedule-Free Learning https://github.com/facebookresearch/schedule_free 我们现在已经开源了我那一系列神秘图表背后的算法。每张图表要么是 Schedule-free SGD，要么是 Adam，没有...
由 winglian 添加对 adamw schedulefree 的支持 · Pull Request #1486 · OpenAccess-AI-Collective/axolotl：实现了 Meta 的 https://github.com/facebookresearch/schedule_free 用于 adamw https://twitter.com/aaron_defazio/status/1776320004465582331 optimizer: schedule_free_adamw lr_scheduler: constant
axolotl/src/axolotl/utils/config/models/input/v0_4_1/__init__.py at main · OpenAccess-AI-Collective/axolotl：尽管提出 axolotl 问题。通过在 GitHub 上创建账号来为 OpenAccess-AI-Collective/axolotl 的开发做出贡献。
由 winglian 提交的 schedulefree 优化器 · Pull Request #30079 · huggingface/transformers：此 PR 做了什么？集成了 Meta 的 https://github.com/facebookresearch/schedule_free 用于 adamw 和 sgd https://twitter.com/aaron_defazio/status/1776320004465582331 在提交之前...

axolotl/examples/llama-2/lisa.yml at main · OpenAccess-AI-Collective/axolotl

提到的链接：

Redirecting...：未找到描述
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快地理解代码。

OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快速地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快速地理解代码。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快速地理解代码。
axolotl/examples/mistral/mixtral-qlora-fsdp.yml at main · OpenAccess-AI-Collective/axolotl：尽管提出 axolotl 问题。通过在 GitHub 上创建账户，为 OpenAccess-AI-Collective/axolotl 的开发做出贡献。
OpenAccess-AI-Collective/axolotl | Phorm AI Code Search：更快速地理解代码。

提到的链接：

Robert Dadashi (@robdadashi) 的推文：训练数据与 v1.0 基本相同，但我们将 RL 算法切换为了一些新东西。我希望将来能披露更多相关信息 :)。6/11
Julien Chaumond (@julien_c) 的推文：我们决定更新 text-generation-inference (TGI) 的许可证。我们将许可证从 HFOIL（我们的自定义许可证）切回到 Apache 2，从而使该库完全开源。阅读下文...
ʟᴇɢɪᴛ (@legit_rumors) 的推文：这是独家的全新 udio AI 音乐生成 🫡 来源：匿名。匿名总是来源。

提到的链接：

James Darpinian (@modeless) 的推文：@TheXeophon 你是否见过这样一种理论，即拼写错误是故意用来过滤掉聪明人的
论开放基础模型的社会影响：为 AI 开放性的辩论增加精确度
可视化 Attention，Transformer 的核心 | 第 6 章，深度学习：揭秘 Attention，这是 Transformer 和 LLM 内部的关键机制。这些课程不是通过赞助广告，而是由观众直接资助的：https://3...

提到的链接：

[2024年4月18日] 对齐开放语言模型：对齐开放语言模型 Nathan Lambert Stanford CS25: Transformers United V4 1
生成式 AI 目录：预训练 LLM 名称、日期、参数（激活）、参数（总计）、组织、组织类型、作者位置、语言、商业用途、模型可访问性、代码可访问性、数据可访问性、主要...

提到的链接：

Discord - 与朋友和社区聊天的新方式：Discord 是通过语音、视频和文字进行交流的最简单方式。聊天、聚会，并与你的朋友和社区保持紧密联系。
来自 AMD Radeon (@amdradeon) 的推文：我们正致力于在 5 月底发布 Micro-Engine Scheduler (MES) 文档，随后将发布源代码以供外部审查和反馈。我们还开设了一个 GitHub 追踪器...
Discord - 与朋友和社区聊天的新方式：Discord 是通过语音、视频和文字进行交流的最简单方式。聊天、聚会，并与你的朋友和社区保持紧密联系。
AMD 将为 Radeon GPU 开源 MES 固件：这一切都要归功于同行的压力
GitHub - hegdeadithyak/PaperReplica：我们复现 AI 和 ML 领域的科研论文。：我们复现 AI 和 ML 领域的科研论文。 - hegdeadithyak/PaperReplica
GitHub - jzhang38/EasyContext：内存优化和训练方案，旨在以极低硬件要求将语言模型的上下文长度外推至 100 万个 token。：内存优化和训练方案，旨在以极低硬件要求将语言模型的上下文长度外推至 100 万个 token。 - jzhang38/EasyContext
GitHub - CisMine/Setup-as-Cuda-programmers：通过在 GitHub 上创建账号来为 CisMine/Setup-as-Cuda-programmers 的开发做出贡献。

来自 Andrej Karpathy (@karpathy) 的推文

提及的链接：

tiny-cuda-nn/DOCUMENTATION.md at master · NVlabs/tiny-cuda-nn: 极速 C++/CUDA 神经网络框架。通过在 GitHub 上创建账号来为 NVlabs/tiny-cuda-nn 的开发做出贡献。
pytorch/torch/_dynamo/variables/functions.py at 014f91a9d9f94ac9a7f0711600240d7cd7f69844 · pytorch/pytorch: Python 中具有强 GPU 加速能力的 Tensor 和动态神经网络 - pytorch/pytorch
pytorch/torch/distributed/_functional_collectives.py at eff1e4899c7c89f8a8fc8f6ff6bed06dd8d2ec8a · pytorch/pytorch: Python 中具有强 GPU 加速能力的 Tensor 和动态神经网络 - pytorch/pytorch

提到的链接:

QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs: 我们引入了 QuaRot，一种基于旋转的新型量化方案，能够对 LLMs 进行端到端量化，包括 4-bit 的所有权重、激活和 KV cache。QuaRot 以某种方式旋转 LLMs...
GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch: PyTorch 中的 Schedule-Free 优化。通过在 GitHub 上创建账号来为 facebookresearch/schedule_free 的开发做出贡献。

提到的链接:

Context parallelism 概览 - NVIDIA Docs: 未找到描述
GitHub - jzhang38/EasyContext: 内存优化和训练配方，旨在以极低的硬件需求将语言模型的上下文长度外推至 100 万 token。: 内存优化和训练配方，旨在以极低的硬件需求将语言模型的上下文长度外推至 100 万 token。 - jzhang38/EasyContext

提到的链接:

hqq/hqq/core/quantize.py at master · mobiusml/hqq: Half-Quadratic Quantization (HQQ) 的官方实现 - mobiusml/hqq
hqq/examples/llama2_benchmark/eval_model.py at master · mobiusml/hqq: Half-Quadratic Quantization (HQQ) 的官方实现 - mobiusml/hqq
HQQ 4 bit llama 2 4b · zhxchen17/gpt-fast@f945843: export MODEL_REPO=meta-llama/Llama-2-7b-chat-hf scripts/prepare.sh $MODEL_REPO python quantize.py --checkpoint_path checkpoints/$MODEL_REPO/model.pth --mode int4-hqq --groupsize 64 python generate....
GitHub - pytorch-labs/gpt-fast: Simple and efficient pytorch-native transformer text generation in <1000 LOC of python.: 在少于 1000 行 Python 代码中实现简单且高效的 PyTorch 原生 Transformer 文本生成。 - pytorch-labs/gpt-fast
gpt-fast/quantize.py at f94584359076dd484acf28119ec49ffc30ce87f1 · zhxchen17/gpt-fast: 在少于 1000 行 Python 代码中实现简单且高效的 PyTorch 原生 Transformer 文本生成。 - zhxchen17/gpt-fast
hqq/hqq/core/quantize.py at master · mobiusml/hqq: Half-Quadratic Quantization (HQQ) 的官方实现 - mobiusml/hqq
gpt-fast/model.py at main · pytorch-labs/gpt-fast: 在少于 1000 行 Python 代码中实现简单且高效的 PyTorch 原生 Transformer 文本生成。 - pytorch-labs/gpt-fast
eval_model_wikitext_gptfast.py: GitHub Gist: 立即分享代码、笔记和片段。
adding fused uint4x2_mixed_mm to inductor by HDCharles · Pull Request #106516 · pytorch/pytorch: 来自 ghstack 的堆栈（最早的在底部）：-> #106516 摘要：这是 int4 仅权重（weight-only）量化所需要的，我们正在匹配解包 uint4x2 的特定解包操作...

Links mentioned:

GitHub - mesozoic-egg/tinygrad-notes: Tutorials on tinygrad: Tutorials on tinygrad. Contribute to mesozoic-egg/tinygrad-notes development by creating an account on GitHub.
new memory scheduler with LRU by geohot · Pull Request #4094 · tinygrad/tinygrad: no description found

Links mentioned:

mesozoic-egg - Overview: mesozoic-egg has 4 repositories available. Follow their code on GitHub.
tinygrad-notes/jit.md at main · mesozoic-egg/tinygrad-notes: Tutorials on tinygrad. Contribute to mesozoic-egg/tinygrad-notes development by creating an account on GitHub.
tinygrad-notes/multigpu.md at main · mesozoic-egg/tinygrad-notes: Tutorials on tinygrad. Contribute to mesozoic-egg/tinygrad-notes development by creating an account on GitHub.

提到的链接：

VirusTotal：未找到描述
VirusTotal：未找到描述
VirusTotal：未找到描述

提到的链接：

winglian 提交的 schedulefree optimizers · Pull Request #30079 · huggingface/transformers：此 PR 的作用？集成了 Meta 的 https://github.com/facebookresearch/schedule_free 用于 adamw 和 sgd。在提交之前...
Developer Event AI Village：AIDev - 开发者社区 Large Language Models，LLM 应用和生成式 AI

C4AI Command R Plus - a Hugging Face Space by CohereForAI

在 QNAP NAS 上运行私有 RAG ChatGPT

提到的链接：

Alter | 适用于 Mac 的隐形 AI：未找到描述
Alter 演示 - 修复拼写和语法错误：在所有应用中改进语法和拼写！Alterhq.com 根据您的工作上下文推荐最佳操作。#ai #spelling #macos #chatgpt

Instructor，从 LLM 生成结构化数据

Joschka Braun (@JoschkaBraun) 的推文

一位动漫头像的匿名用户在 1 万美元的 A::B 提示词（prompting）挑战中刷新了纪录。

AI Reddit 回顾

AI Twitter 回顾

AI Discord 摘要

第一部分：Discord 高层摘要

Perplexity AI Discord

Nous Research AI Discord

Stability.ai (Stable Diffusion) Discord

Unsloth AI (Daniel Han) Discord

LM Studio Discord

HuggingFace Discord

Modular (Mojo 🔥) Discord

Eleuther Discord

OpenAI Discord

OpenRouter (Alex Atallah) Discord

LlamaIndex Discord

OpenInterpreter Discord

LangChain AI Discord

LAION Discord

Latent Space Discord

OpenAccess AI Collective (axolotl) Discord

Interconnects (Nathan Lambert) Discord

CUDA MODE Discord

tinygrad (George Hotz) Discord

Mozilla AI Discord

DiscoResearch Discord

AI21 Labs (Jamba) Discord

Datasette - LLM (@SimonW) Discord

Skunkworks AI Discord

LLM Perf Enthusiasts AI Discord

第 2 部分：按频道详细摘要和链接