ainews-mamba-meets-rwkv-eagle-v5

RWKV "Eagle" v5：该你出招了，Mamba。

· 5e1b2ebb-d5fe-478b-80e9-9859650de1b2

RWKV v5 Eagle 发布，其评估结果优于 mistral-7b，通过牺牲部分英语性能换取了更强的多语言能力。神秘的 miqu-1-70b 模型引发了对其起源的争论，它可能是 Mistral Medium 的泄露版或蒸馏版，也可能是经过微调的 Llama 2。相关讨论强调了微调技术，包括 1,000 条高质量提示词相较于大规模混合质量数据集的有效性，以及 Deepspeed、Axolotl 和 QLoRA 等工具的应用。Nous Research AI 社区强调了旋转位置嵌入 (RoPE) 的 theta 设置对大语言模型 (LLM) 外推能力的影响，从而改进了 Mistral Instruct v0.2 等模型。Mistral Tuna 内核的速度提升降低了 token 处理成本，提高了效率。拥有 75.2 亿参数的 Eagle 7B 的推出展示了强大的多语言性能，超越了其他 7B 级模型。

#fine-tuning #multilinguality #rotary-position-embedding #model-optimization #model-performance #quantization #speed-optimization #prompt-engineering #model-benchmarking #reinforcement-learning rwkv-v5 mistral-7b miqu-1-70b mistral-medium llama-2 mistral-instruct-v0.2 mistral-tuna llama-2-13b kunoichi-dpo-v2-7b gpt-4 eleutherai mistral-ai hugging-face llamaindex nous-research rwkv lmsys

2024年1月27-28日的 AI Discord 动态。我们为您检查了 20 个公会、297 个频道和 10073 条消息。预计节省阅读时间（按每分钟 200 字计算）：826 分钟。鉴于上周 A/B 测试中摘要质量略有下降，我们目前将 GPT4T 版本固定在 1106（更多研究正在进行中，敬请期待）。

RWKV v5 (“Eagle”) 已于本周末发布，其评估结果优于 Mistral-7B 规模的模型，并承认为了多语言能力牺牲了部分英语性能。来自 EleutherAI 的 Stella（她从一开始就支持 RWKV - 参见 Latent Space 上的 RWKV 播客）总结得最好：

image.png

其他新闻方面，关于 miqu-1-70b 的猜测很多，它可能是 Mistral-Medium 的泄露版或蒸馏版（尚未得到证实）。还有更多关于 Bard 在 LMsys 排行榜上引起轰动的讨论。

–

目录

[TOC]

第一部分：Discord 高层级摘要

TheBloke Discord 摘要

  • Miqu 的神秘起源引发争论：讨论集中在 miqu-1-70b 的真实来源，在它是泄露的 Mistral Medium 还是经过微调的 Llama 2 模型之间摇摆不定。性能评估各不相同，一些用户发现它优于 Mistral 7b，而另一些用户则期望更高。

  • 寻找最佳训练样本量：一篇难以捉摸的 LIMA 论文暗示，使用 1,000 个高质量提示词对基础模型进行微调的效果优于使用 52,000 个质量参差不齐的提示词进行微调，这引发了社区对各种微调任务有效样本量的讨论。

  • 微调技术和基准测试引起关注：话题范围从旨在保留通用能力同时增强特定任务性能的顺序微调策略，到对 Kunoichi-DPO-v2-7B 等模型进行量化以寻求潜在的性能提升。讨论了 Deepspeed、Axolotl 和 QLoRA 等工具和框架在微调操作中的效用。

  • 应对编程挑战的建模工具和方法：社区分享了利用模型进行编程和复杂推理任务的资源和讨论。建议包括使用 LangChain 进行本地建模，以及使用 GPT-4 处理需要更深层见解的任务，此外还提到了使用 CMake 解决 Windows 中的 Clang 问题的方法。

  • 角色扮演和故事创作模型受到关注：关于微调角色扮演故事写作模型的讨论凸显了 L2 13B 和 SOLAR 等基础模型的潜力。分享了增强模型训练的技巧，包括在 Deepspeed 中使用 ZeRO 配置而非 FSDP，以及选择增强角色扮演模型交互的工具，如用于文本转语音应用的 XTTSv2。

值得关注的项目和资源：

  • 用于创建便携式 APE 文件的 llamafile 项目。
  • AI 工程的工具和框架合集，包括 LangChain 和 GPT-4 等多语言框架，以及从预测性 AI 建模转向生成式 AI 建模的特定指南和课程，其中 Andrej Karpathy 的 zero to hero 系列是首选推荐。

Nous Research AI Discord 总结

  • RoPE Theta 设置影响 LLM 外推能力：继最近的讨论之后，@dreamgen 和 @euclaise 强调了 Rotary Position Embedding (RoPE) theta 设置 对 LLM 外推能力的影响。一项研究 Scaling Laws of RoPE-based Extrapolation 表明，通过调整 rope_theta 值来微调像 Mistral Instruct v0.2 这样基于 RoPE 的 LLM，可以显著提升性能。

  • Mistral 速度提升改变 AI 游戏规则：@carsonpoole 分享了在调优后，Mistral 和 Mixtral 内核（kernels）展示了显著的速度提升，使得 Mistral Tuna 成为比 cuBLAS 实现更高效的选择。这一调整大幅降低了 1M Token 的成本，使 Mistral 和 Mixtral 在 AI 模型效率竞赛中处于领先地位。

  • Eagle 7B 凭借多语言精通展翅高飞：基于 RWKV-v5 架构、拥有 7.52B 参数量的 Eagle 7B 发布引发了关注。它不仅在多语言基准测试中超越了所有 7B 级模型，而且在英语评估中也与顶级模型不相上下，且推理成本更低，详见 Eagle 7B 发布公告。

  • 解决 SentencePiece 解码困境：.ben.com 分享了一个关于 SentencePiece 的重要发现，即它会导致解码后的 Token 中空格被抑制，这可能会给数据解析带来麻烦。建议采用对每个分块（chunk）的完整响应进行全面解码作为变通方案，以减轻模型输出中常见的“我讨厌计算机”式的挫败点。

  • 探索 LLM 中 Tokenizer 和配置的细微差别：针对 Mixtral Instruct 实现合适的 Tokenizer 以及使用 axolotl 为 OpenHermes 等模型进行微调配置的技术讨论成为焦点。具体而言，@_3sphere 推荐了一个 适用于 LLaMA 的 JavaScript tokenizer 以确保准确的 Token 计数，而一段用于 OpenHermes 调优的 YAML 代码片段则强调了优化模型训练所需的精确调整。

OpenAI Discord 总结

  • GPT-3.5 vs. GPT-4：一场关于随意性的辩论：用户 @vantagesp、@xenowhiz 和 @eskcanta 通过 此链接 分享的对话和示例，深入探讨了 GPT-3.5 和 GPT-4 在语气随意性方面的细微差别，并探索了 Prompt 的影响。
  • ChatGPT 的技术烦恼与胜利：@gegex__ 寻求了通过 ChatGPT 执行 Python 函数的技术建议，同时获得了关于将 ChatGPT 与 DALL-E 3 结合用于艺术创作，以及 ChatGPT 在 Unreal Engine 游戏开发中应用的指导。
  • 自定义功能的复杂化：@blckreaper 投诉了 GPT 在自定义知识库中不稳定的搜索功能，以及在更新自定义 GPT（Custom GPTs）行为时遇到的技术故障，凸显了该平台有时不一致的性能和易用性问题。
  • 探索高级 GPT 功能：社区研究了使用 GPT 的“@-调用”功能进行复杂集成和叙事创作，同时询问了 GPT-4 “懒惰”的实用性，以及 GPT 模型切换背后的机制，以获得更丰富的交互体验。
  • 创新 Prompt Engineering：讨论范围从 Rule 7 的澄清到对 Prompt 变量、SudoLang 实用性以及 EmotionPrompt 技术在自动 Prompt Engineering (APE) 中有效性的深入研究，其中 @mad_cat__ 还提到了一个有趣的 Hindsight of Consciousness Prompt Technique（意识后见之明 Prompt 技术）。

提到的关键文档： 社区分享了 OpenAI 2023 年 12 月 17 日版 Prompt Engineering 指南，这是一个已加载到 GPT 中的资源，供那些探索高级 Prompt Engineering 策略的人使用。

LM Studio Discord 总结

  • 深入探索不受限 AI：在 LM Studio 中，Dolphin 模型因其处理不受限内容的能力而受到关注，这是文字冒险游戏玩家梦寐以求的功能。为了获得更流畅的体验，社区正努力将 SillyTavern 集成到 LM Studio 中，并引入 CogVLM 视觉模型，这凸显了用户在内容创作中突破 AI 边界的热情。

  • LLM 的 GPU 竞赛愈演愈烈：关于大语言模型（LLM）最佳 GPU 的争论引发了广泛关注，RTX 4060 Ti、RTX 3090 和 AMD 7900 XTX 成为热门竞争者。一场显著的讨论集中在 NVIDIA P40 在 LLM 任务中的性价比和 VRAM 充足性上，同时也权衡了其架构过时带来的担忧 LM Studio。

  • 与 Beta 版 Bug 的博弈：LM Studio 的 Beta 版本出现了一些挑战，有报告称存在 AVX2 指令不兼容问题，以及当模型存储在没有本地缓存的 iCloud Drive 上时会出现无响应的情况。这些障碍凸显了系统要求和存储处理优化方面潜在的改进方向 LM Studio。

  • 硬件配置热议升级：LM Studio 中的讨论深入探讨了 Mixtral 模型的硬件需求，建议使用 52GB 的 VRAM 以获得最佳性能，并询问了量化（quantization）对模型性能的影响。对话还聚焦于如何在预算限制内最大化硬件配置，以提升 LLM 的运行效率。

  • Linux GPU 加速的困扰：用户报告了 Linux 上的 GPU 加速问题，特别提到了 Radeon 7900XTX 的使用困难，这反映了在不同操作系统和硬件设置中优化 AI 工作负载时持续存在的反复挑战。社区积极提供协助的意愿展现了在解决这些技术难题时的协作精神 LM Studio。

  • Autogen 异常问题处理：有关 Autogen Studio 服务器错误 以及 Autogen 与 TextGen-webui 之间行为差异的报告，表明在实现无缝 AI 应用开发方面仍面临挑战。社区转向故障排除，并建议探索 NexusRaven-V2 进行函数调用（function calling），展现了解决复杂 AI 集成问题的积极态度 LM Studio。

Eleuther Discord 总结

  • Flash-Attention 的 Jax 适配： 关于将 flash-attention 移植到 Jax 的讨论主要集中在对依赖 PyTorch 和 CUDA 的挑战上，这导致开发者考虑通过 fork 并修改原始仓库来适配 Jax 绑定。此次适配旨在解决由于 CUDA 版本冲突导致的 torch-cuda 与 jax-cuda 之间的兼容性问题。

  • T5 模型缺失 Flash Attention： 社区对 T5 模型中缺乏 flash attention 实现表示担忧，认为这是在该特定框架内利用该技术的重大空白。

  • AI 专家观点与媒体表现的博弈： AI 专家的见解与媒体描绘（特别是涉及 Gary Marcus 等人物时）之间的不一致引发了辩论，焦点在于学术竞争和媒体误导对公众理解的影响。讨论强调了 Gell-Mann Amnesia effect 以及准确传达 AI 进展所面临的挑战。

  • 生存风险与硅谷生存主义者： 围绕生存风险和“生存主义（prepping）”文化展开了分歧性的对话，其中不乏对这类活动动机的怀疑。然而，有证据表明 Larry Page 和 Mark Zuckerberg 等知名人物正在投资偏僻的避难所，这引发了关于应对灾难性事件的准备工作与怀疑论之间的复杂对话。

  • 寻求 2023 年新闻数据集用于模型训练： 针对 2023 年及可能包含 2024 年 1 月的最新新闻数据集用于模型训练的需求显而易见。目前如 12 月的 common crawl dump 等资源因未经过滤而被认为不合适。对替代方案（如抓取 PROQUEST）的建议表明开发者正在积极寻找可行的数据集。

  • LLM 中的嵌入策略与激活机制讨论： 围绕 Large Language Models (LLMs) 中词嵌入（word embeddings）从绑定（tying）到解绑（untying）的转变、用于在长序列中维持信息的 activation beacon 机制，以及对 SliceGPT 等训练后稀疏化技术的研究展开了深入对话。讨论还涉及对当前基准测试构建（特别是 MMMU benchmark）的批评，并显示出对 self-play 研究项目日益增长的兴趣。

  • Language Model Evaluation Harness 洞察： 对 LM evaluation harness 的调整（包括 seed 更改和 RWKV library 的整合）突显了持续评估语言模型一致性的努力。这些调整，连同关于每个样本指标和 repetition penalty 影响的讨论，强调了社区致力于完善评估策略的决心。

  • GPT-NeoX 开发障碍与解决方案： 解决 GPT-NeoX 开发挑战的努力（如 Apex 构建问题和 multi-node 部署障碍）展示了社区致力于使该工具在各种架构上更易用、更高效的承诺。创建一个有主见的 Apex fork 并建立构建流水线以实现可扩展性和易用性的构想，指向了面向未来的主动解决方案和更广泛的架构支持。

Mistral Discord 总结

  • 离线使用 Mistral 模型的嵌入：@mahmoodbashar08 探讨了将 Mistral 模型嵌入 Python 脚本以进行离线应用，@vhariational 建议针对硬件限制使用量化模型，包括托管在 Hugging Face 上的 GGUF 模型。讨论显示出在在线 API 之外利用 Mistral 模型的兴趣日益增长。

  • Mistral8x7b 的部署难题已解决：对于在云平台或本地服务器上部署 Mistral8x7b，用户被引导至 Mistral 的自部署指南。@vhariational 在回复 @rolexx6326 时强调了对高性价比、DIY 部署的偏好，并指向了 Mistral 的自部署文档。

  • 使用 (Q)LoRAs 微调大语言模型 (LLMs)：在 #finetuning 频道中，@sadaisystems 寻求关于微调 LLM 实践方面的建议，表示相比理论论文，更倾向于实际可执行的知识。讨论还涉及将检索增强生成 (RAG) 集成到 Mistral 的 LLM 中以处理书本长度 PDF 的复杂性，其中预算和项目范围是咨询考虑的关键因素。

  • GitHub Copilot 替代方案和开源计划：#showcase 频道的讨论介绍了 GitHub Copilot 的替代方案，特别是 Tabby/Continue，并提供了它们的 GitHub 仓库链接。@hugoduprez 还宣布了将讨论的项目开源的计划，反映了社区驱动开发和知识共享的趋势。

  • 探索 Mistral API 的前端替代方案和集成：针对利用 Mistral API 构建类似 ChatGPT 界面的需求，社区给出了从构建自定义 UI 到利用第三方界面（如 HuggingChat 和 Librechat）的各种建议，显示了社区在提升 Mistral 模型用户体验方面的协作努力。

HuggingFace Discord 总结

  • 了解 Hugging Face 的 Automodel 查询与合作：在 #general 频道中，针对部署自动训练模型、数据权利及涉及的费用进行了澄清，并引用了 Hugging Face 的服务条款。此外，还发起了关于 Trading AI 或 Poker AI 协作项目的邀请，并宣布了在金奈（Chennai）举行的专注于 LLM 的线下社区见面会。

  • 深入探讨音频、法律和制造业：#today-im-learning 和 #reading-group 频道的讨论范围广泛，从音频基础和声音物理学 (ciechanow.ski/sound) 到关于 AI 在法律领域的文献综述 (Medium 文章)，以及关于机器学习在制造业中应用的咨询。

  • 分享 AI 创新与见解：#i-made-this 和 #diffusion-discussions 频道的用户展示了各种项目，如 ML 安全问题、FumesAI 演示以及具有提示词增强功能的新模型 WhiteRabbitNeo-33B-v1。讨论还涉及了 Twitter Space 中的网络安全讨论，并提到了 CLIP 检索尝试中的链接失效问题。

  • 探索 NLP 和计算机视觉领域：#NLP 和 #computer-vision 频道促进了关于上下文学习 (In-context learning)、少样本学习 (Few-shot learning) 的有效性，以及使用 CI/CD 或 MLOps 技术实现自动模型导入的可行性讨论。此外，还有关于切换支持俄语的文本生成模型以及解决 ONNX 转换问题的对话。

  • HuggingFace Spaces 趋势观察与模型实验：#cool-finds 频道重点介绍了一个热门的 YouTube 视频，该视频探索了 HuggingFace Spaces 中 Meta 的文本转音频 (Text to Audio) 功能。此外，#diffusion-discussions 和 #computer-vision 频道的讨论涉及了 Pro 用户在 Colab 上的计算资源问题以及对高效 Clip Retrieval 工具的追求。

LangChain AI Discord 摘要

  • OpenAI 为 AI 爱好者发布新玩具：OpenAI 发布了一项令人兴奋的更新，包括新的 embedding 模型、更新后的 GPT-4 Turbo、文本审核模型等，以及 API 使用管理功能的增强。更新的亮点包括 GPT-3.5 Turbo 的降价以及两个新 embedding 模型的推出，详情请点击这里。

  • 点符号标注（Dot Annotation）风波与 Python 的救星：hiranga.g 经历了从对 LangServe 生产环境中点符号标注的困惑，到发现使用四重花括号的临时修复方案，最后在 Python 的 f-strings 中找到了解决嵌套数据访问问题的慰藉，体现了编程中不断尝试的精神。

  • LangChain 支持 Base64 编码图像吗？：用户 @nav1106 询问在 LangChain 的 HumanMessage 内容中，是否可以使用 base64 字符串代替 URL 作为 image_url 类型的输入，这提出了一种处理图像输入的替代方法。

  • 语义路由与 AI 对话增强：@andysingal 分享了关于 Semantic Router 通过 LangChain 技术对 AI 对话产生变革性影响的见解，并辅以一篇深度博文。同时，一场关于语义路由基础的辩论指向了 James Briggs 的基础性工作，参考资料包括一段主题演讲视频。

  • 结合 ChainLit, LangChain, Ollama 和 Mistral 打造你自己的 ChatGPT UI：datasciencebasics 分享的一个新教程承诺将指导爱好者如何使用 ChainLit, LangChain, Ollama 和 Mistral 在本地创建一个类 ChatGPT 的 UI，教学课程可在此处观看。

LAION Discord 摘要

  • Google 的 Bard 超越 GPT-4：Google 的 Bard 已超越 GPT-4，在 AI 排行榜上占据第二位，引发了关于其对未来 AI 发展影响的讨论。这一里程碑通过推文公告分享。

  • 新 AI 模型重新定义文本生成图像（Text-to-Image）合成：一种超越 DALL-E 3 和 SDXL 的新型 AI 问世，展示了在处理复杂文本生成图像任务中的卓越性能。社区讨论了详细信息和对比，更多信息可通过 Reddit、arXiv 上的论文以及 GitHub 上的模型代码获取。

  • Eagle 7B 飞越传统 Transformer：Eagle 7B 聚焦于效率和多语言能力，开启了 RWKV-v5 架构的新纪元，详见博文。它强调了其绿色环保的特性以及对 100 多种语言的精通。

  • 视频游戏和艺术创作中的 AI 增强引发激烈辩论：讨论涵盖了小型 LLM 在游戏开发中的潜力，以及 Pixart-α 在 AI 生成艺术中写实与风格之间的平衡。PixArt-α 的 GitHub 仓库成为了关注焦点，可在此处找到。

  • 探讨 AI 在数字审核和搜索引擎准确性中不断扩大的角色：社区思考了 AI 通过情感分析在在线内容审核中不断演进的效用，以及它在 Bing 与 Google 搜索 AI 集成中的差异化表现。这些对话强调了人们日益依赖 AI 来增强数字体验和信息的可靠性。

Perplexity AI Discord 总结

  • 增强 Copilot 与 API 的集成：讨论重点在于 Copilot 与 Perplexity API 的集成查询，主要集中在仅限于在线模型的限制上。更多信息链接 提供了关键细节。

  • Perplexity 订阅模式见解：用户寻求关于订阅到期后情况的澄清，了解到 GPT-3.5 会恢复为默认模型，正如社区成员所详述，并得到 @icelavaman 和 @brknclock1215 见解的进一步支持。

  • 讨论技术变通方案和模型偏好：在探索 Perplexity AI 的实用性 时，像 @akhil_pulse_energy 这样的用户参与了关于通过 PPLX API 利用 Google 搜索运算符获取更新内容的讨论，并表达了对在线 LLM 以获得类似网页准确性的偏好。

  • Perplexity AI 作为学习和创意工具：用户分享了使用 Perplexity AI 的经验，强调了其在学习 编程 (coding)、识别北美 健康浆果 以及创意生成幽默内容以吐槽骗子方面的有效性。相关资源包括编程帮助的截图和 关于 Perplexity Collections 的教程（作为 AI 研究工具）。

  • API 积分和支持问题得到解决：提到了用户未收到 Perplexity Pro 的 API 积分的情况，以及关于 API 响应中是否存在来源 URL 的一般查询。建议包括直接发送电子邮件给支持团队寻求解决，并探索讨论论坛以获得进一步的澄清。

LlamaIndex Discord 总结

  • 企业级 RAG 系统变得更简单：@rungalileo 分享了一份构建 企业级检索增强生成 (RAG) 系统的综合指南，涵盖了算法和系统组件。深度探讨见 此处。
  • AI 工程师在 LLM OS 上面临的七大挑战：强调了 AI 工程师面临的 七个关键挑战，例如提高准确性和优化大规模智能 Agent 中的并行执行，更多见解请见 此处。
  • 知识图谱增强 RAG 流水线：@chiajy2000 详细介绍了将 知识图谱 (KG) 集成到 RAG 流水线中，通过图相关技术改进查询响应。了解更多并查看图表请点击 此处。
  • 克服 LlamaIndex 中的 PDF 和异步问题：讨论了常见问题的解决方案，例如 LlamaIndex 中 PostgreSQL 的异步支持，以及针对复杂文档使用 pdfminer、pymupdf 和 opencv 等工具进行 PDF 解析，为 @ziggyrequrv 和 @rnovikov 等用户提供了帮助。
  • 多检索器链式调用说明：@akshay_1 解决了 LlamaIndex 中的 多检索器链式调用 (multi-retriever chaining) 问题，确认了同时使用各种检索器（向量、关键词、BM25）的可行性，并提到 Haystack 是一个可行的实现平台。

Latent Space Discord 总结

  • 探索用于结构化数据的 RLHF/DPO：由 @sandgorgon 发起的讨论质疑了 RLHF/DPO 技术在高温 (high-temperature) 案例之外的适用性，特别是针对结构化数据，目前尚未达成共识或引用具体研究。

  • 4turbo 创意能力的评价褒贬不一：@jozexotic 对 4turbo 创意标题的询问揭示了其性能较之前版本有所下降，这一点得到了 @swyxio 的 性能对比 的证实。

  • 摄影遇上 AI：@slono 正在开启一段数字摄影学习之旅，使用来自 Adobe 的 AI 工具和用于照片管理及增强的自定义代码，展示了 AI 在创意领域的实际应用。

  • ChatGPT 持续存在的“偷懒”问题：@btdubbins 强调了 ChatGPT 持续存在的问题，包括代码生成不完整和占位符内容，引发了关于通过使用 API 调用来提高 ChatGPT 性能的讨论。

  • Eastern LLM Paper Club 关注自我奖励模型：由 @ivanleomk 宣布的 Eastern LLM Paper Club 即将举行的会议将深入探讨自我奖励语言模型 (self-rewarding language models)。感兴趣的人士可以 在此注册活动。

DiscoResearch Discord 摘要

  • 为世界知识选择合适的模型：Discord 用户 @aslawliet 发起了一场关于在 Mixtral 8x7b、Yi-34b 和 LLaMA-2-70b 之间为世界知识应用进行选择的对话，但由于社区未提供明确建议，结论仍不明确。

  • 与 Jeremy Howard 一起学习 CUDA 编程：@rasdani 分享了与 Jeremy Howard 一起深入学习 CUDA 编程的机会，邀请成员参加预定的 Discord 活动，该活动承诺提供关于 CUDA 编程的见解，且会议将为无法实时参加的人员进行录制。

  • 使用 Grounded Artificial Datasets 评估 AI：@bjoernp 分享了来自 Microsoft 的新论文，该论文为检索增强生成 (RAG) 引入了 Grounded Artificial Datasets，为 AI 评估提供了新的视角和指标，可能为未来的研发策略提供参考。

  • 神秘的 80k：sebastian.bodza 在 #embedding_dev 频道发布了一条神秘消息，仅写着“>80k”，背景和意义尚待解读，但可能预示着一个重要的 Benchmark 或感兴趣的数据集大小。

  • DiscoLM 与 Ollama 集成难题：#discolm_german 频道的讨论围绕寻找将 DiscoLM German 与 Ollama 集成的最佳方案展开，@jannikstdl 分享了咨询内容和初始代码模板，但导致 LLM 响应不佳。

Alignment Lab AI Discord 摘要

  • 显微镜下的 2023 年新闻：@danfosing 正在寻找 2023 年新闻数据集，包括截至 2024 年 1 月的资料，强调了 AI 对齐社区内的特定需求。这一请求记录在 general-chat 频道中，同时提到了在另一个特定频道发布信息的挑战。
  • 致力于沟通：autometa 通过发送 10 条私信 (DMs) 来确保他们的消息被听到，展示了对社区参与的高度投入。
  • 孤立还是整合？：在关于对话发生地点的讨论中，ilovescience 和 teknium 思考了当前论坛之外是否存在讨论，结论是否定的，对话就集中在他们所在的地方，并配以轻松的表情符号互动来确认。

AI Engineer Foundation Discord 摘要

  • 寻求最佳 AI 工具：用户 @kudos0560 发起了一场对话，询问用于 AI 开发的最佳开源工具，提到了 Mistral 作为一个值得注意的选项，并邀请社区推荐。

Skunkworks AI Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

LLM Perf Enthusiasts AI Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

Datasette - LLM (@SimonW) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

Ontocord (MDEL discord) Discord 没有新消息。如果该公会沉寂时间过长，请告知我们，我们将将其移除。

第 2 部分：按频道详细摘要和链接

TheBloke ▷ #general (1395 条消息 🔥🔥🔥):

  • 关于 Miqu 来源的辩论：关于 miqu-1-70b 是泄露的 Mistral Medium 还是微调后的 Llama 2 模型，目前仍存在持续的推测。对其性能的批评以及与现有模型（如 Mistral 7b）的比较褒贬不一，一些用户报告了卓越的性能，而另一些用户则指出其表现不如预期。

  • 分享的分析与 Benchmarks：用户分享了将 miqu 与 Mistral 和 RWKV 等其他模型进行比较的各种分析，结果显示性能参差不齐，尤其是在不同的位量化（Q2, Q4, Q5）下。共识是高位量化能提供更好的性能。

  • 各种硬件上的性能讨论：讨论了不同的硬件配置，包括 M2 Ultra、Macbook M3 Max、Epyc 服务器，以及配备 Nvidia A100 和 4090 显卡的 GPU 平台。用户经验强调了运行 miqu 等 AI 模型时，不同硬件之间的计算成本和速度差异。

  • TabbyAPI 与模型运行挑战：用户讨论了使用 TabbyAPI、llama.cpp 和 exl2 等工具运行模型的挑战和技术，辩论了每种方法的效率和速度。人们对在 Runpod 等平台上运行模型的成本表示担忧，强调了硬件投资与运营成本之间的权衡。

  • 关于 RWKV 和新模型开发的讨论：简要提到了 RWKV 模型的最新更新和功能，暗示了它们在扩展和应用方面的潜力。社区分享了旨在促进模型执行和部署的工具及项目，表明了在增强模型可访问性和性能方面的共同努力。

提到的链接：

TheBloke ▷ #characters-roleplay-stories (578 条消息🔥🔥🔥):

  • 模型比较与微调决策：@dreamgen 质疑了在 L2 13B 与 SOLAR 上微调角色扮演故事写作模型的价值，并指出像 Nous Research 这样的机构近期缺乏 L2 13B 的微调版本。他们强调了基础模型质量对于微调的重要性，这可以通过特定基础模型的微调版本所获得的普遍反响来评估。

  • 模型训练技术细节讨论：@jondurbin 就训练大模型向 @dreamgen 提供建议，强调使用 Deepspeed 而非 FSDP，并提到个人更倾向于 ZeRO 2，因为它比 ZeRO 3 具有速度优势。讨论还涉及了在训练期间尝试增加序列长度时的低效和潜在 Bug。

  • 量化查询与基准测试兴趣：@theyallchoppable 询问了模型量化背后的决策过程以及量化的直接性。他们还表示有兴趣将自己的模型 Kunoichi-DPO-v2-7B 与基准测试中的其他模型进行比较，并质疑最近添加的校准（calibrations）对性能波动的影响。

  • 角色扮演模型推荐及 TTS 工具：用户们辩论了最适合角色扮演的模型，建议范围从 Mixtral 到 Goliath 120B 模型。对话延伸到了文本转语音 (TTS) 应用工具，@stoop poops 提到 XTTSv2 是注重质量的用户的一个选择。

  • Frankenmodel 怀疑论与模型性能标准：@sanjiwatsuki 对 frankenmodels 表示怀疑，除非它们能达到 SOLAR 那样的成就；同时与 @reinman_ 和 @doctorshotgun 讨论了从 7B 到 120B 参数模型在角色扮演和故事写作方面的优势与局限。特别关注了模型遵循复杂角色卡以及在长上下文中保持连贯性的能力。

提到的链接：

TheBloke ▷ #training-and-fine-tuning (71 messages🔥🔥):

  • 寻找 Fine-Tuning 样本量指南：@superking__ 提到正在寻找一篇阐述各种 Fine-Tuning 任务所需高质量样本的文章，引发了其他用户对该话题的兴趣。虽然没找到确切文档，但有人提到了 LIMA 论文，该论文指出使用 1,000 个高质量 Prompt 微调的基础模型优于使用 52,000 个混合质量 Prompt 微调的相同模型。

  • 关于跨不同任务进行顺序 Fine-Tuning 的讨论：@sadaisystems 详细介绍了一个实验设置，用于在问答和编码等不同任务上对模型进行顺序 Fine-Tuning，旨在提高性能而不损害通用能力。这激发了创建有组织学习路径的兴趣，类似于 @kquant 建议的人类教育系统。

  • 针对不同任务的 QLoRA Fine-Tuning 提案：@sadaisystems 考虑使用 QLoRA 在不同任务上进行顺序 Fine-Tuning，并寻求社区建议，以寻找可能促成研究论文的广泛认可的任务。该策略涉及使用 Mistral-Instruct v0.2 模型作为实验基础。

  • Axolotl 在保存数据集过程中卡住：@flashmanbahadur 遇到一个问题，即在运行示例 Mistral 7b config.yml 时，Axolotl 在“Saving the dataset”阶段后挂起，怀疑是 Accelerate 和 CUDA 的问题。

  • 关于针对特定编程语言训练模型的咨询：@Naruto08 询问关于在 24GB GPU 系统上针对 Rust 或 Go 等特定编程语言训练模型的问题，@superking__ 建议 10b 模型可能是可行的，并建议查看 Axolotl 和 Unsloth 等 Fine-Tuning 工具包。

TheBloke ▷ #coding (27 messages🔥):

  • APE 文件项目值得更多关注：@righthandofdoom 强调了创建 APE 文件 的 llamafile 项目，这些文件可以在任何地方运行，并希望它能获得更多人气。
  • 在 LangChain 和 GPT-4 之间选择复杂推理：@djstraylight 和 @bartowski1182 讨论了使用 LangChain 进行本地建模，并调用 GPT-4 处理需要更深层见解的任务。他们注意到 GPT-4 在处理繁重工作和减少 Prompt Engineering 需求方面具有实质性优势。
  • GPT-4 的 Vision 能力开启新潜力：在关于模型能力的对话中，@djstraylight 和 @bartowski1182 赞扬了 GPT-4-vision 在解释图像方面的精通，并希望未来能实现视频分析。
  • 使用 CMake 解决 Windows 上的 Clang 问题：@spottyluck 提供了在 Windows 中使用 CMake 强制使用 Clang 时出现问题的解决方法，建议在 CMAKE_C_FLAGS 和 CMAKE_CXX_FLAGS 中添加特定 target。
  • 从零开始学习 Generative AI：@4n7m4n 表达了从预测性 AI 建模转向 Generative AI 建模的兴趣。@dirtytigerx 推荐了 Andrej Karpathy 的 zero to hero 系列 和 GitHub 上的 nanoGPT 项目 进行全面学习，强调其与时间序列分析相似但实现方式不同。

提及的链接：

Nous Research AI ▷ #ctx-length-research (10 条消息🔥):

  • 对模型缩放和 RoPE 设置的好奇：@dreamgen 询问了为什么某些模型（特别是 Mistral Instruct v0.2）选择增加 rope_theta 值而不是采用 rope scaling。该查询还涵盖了有效缩放所需的微调量的实验。
  • 基于 RoPE 的 LLM 最新研究见解：@euclaise 分享了一篇相关论文，讨论了使用 Rotary Position Embedding (RoPE) 的 Large Language Models (LLMs) 的外推能力。研究表明，使用不同的 rope_theta 值对基于 RoPE 的 LLM 进行微调会显著影响外推性能。
  • 关于 RoPE Theta 调整有效性的辩论：在讨论和分享研究之后，@dreamgen 思考了将 rope_theta 设置为 1M 是否优于动态 rope scaling，以解决 LLM 中的外推问题。
  • 默认 RoPE 设置的理论局限性：@euclaise 提到默认的 rope_theta 值几乎是理论上最差的，这意味着通过参数调整优化 LLM 性能仍有巨大空间。
  • 混合 Theta 训练的探索性想法：@dreamgen 提出了一种创新的微调方法，在训练示例中使用混合的 rope_theta 值（500 和 1M）。其想法是在推理过程中根据输入长度选择最合适的 rope_theta。

提到的链接：

Scaling Laws of RoPE-based Extrapolation：基于 Rotary Position Embedding 的 Large Language Models (LLMs) 的外推能力是目前备受关注的话题。解决外推问题的主流方法是…

Nous Research AI ▷ #off-topic (187 条消息🔥🔥):

  • 闲聊中的 AI 创新：@carsonpoole 透露，在经过广泛调优后，Mistral 和 Mixtral 内核的速度显著提升，其中 Mistral Tuna 与 cuBLAS 实现相比显示出巨大的加速。这些改进使得 1M tokens 的成本与市场竞争对手相比大幅降低。

  • 关于 LLM 的多语言思考：@Error.PDF 和 @n8programs 之间展开了深入讨论，强调了对 Large Language Models (LLMs) 未来、Transformers 潜力以及实现 AGI 所需架构需求的细致看法，并在英语和西班牙语之间自如切换以适应语言偏好。

  • Gary Marcus 的预测引发辩论：@Error.PDF 分享了关于 Gary Marcus 预测的讽刺评论，引发了关于 GPT 模型演进以及仅靠 Attention 机制是否能推动 LLM 未来进步的对话。

  • EleutherAI 日志提供见解：@_3sphere 分享了一个关于 Llama（Meta AI 的大型语言模型）的讨论链接，该模型现在已正式支持 Vulkan，突显了社区在探索 AI 新领域方面的努力。

  • Portality 提供 3D 世界的一瞥：@erichallahan 介绍了 Portality.ai，这是一个承诺使用尖端 AI 创建私人 3D 门户的项目，展示了最新的 3D Gaussian Splatting 技术。该项目鼓励社区参与，并致力于使 3D 场景创建民主化。

提到的链接：

Nous Research AI ▷ #interesting-links (57 messages🔥🔥):

  • Deepseek’s System Prompt Magic: .ben.com 分享了一个 Deepseek Coder 模型的 System Prompt 模板，强调了处理默认和提供的 System Prompt 以保持一致性的必要性。更多详情见 讨论。

  • Counterfactual Prompting for Aligning LLMs: gabriel_syme 介绍了一篇关于反事实提示（Counterfactual Prompting）的论文，这是一种在无需人工干预的情况下对齐大语言模型（LLM）响应风格的方法。该论文提供了关于如何从本质上增强模型生成风格的见解 (下载 PDF)。

  • Exploring Infinite Context Scaling in LLMs: 由 euclaise 发起的一场关于一篇提出实现 LLM 无限上下文缩放新方法论文的讨论引发了褒贬不一的反应。虽然有人提到它能改善角色扮演和聊天 Agent，但事实保留能力仍存疑问 (点击此处深入研究)。

  • Exllamav2 Enhancements and GitHub Release: .ben.com 讨论了在 LLM 中使用 Exllamav2 的好处，包括在 3090ti GPU 上吞吐量提升 2 倍，并在 GitHub 上发布了一个基于 Exllamav2 且兼容 OpenAI API 的 LLM 推理服务器。

  • Eagle 7B’s Remarkable Achievement: nonameusr 强调了 Eagle 7B 的发布，这是一个基于 RWKV-v5 架构的 7.52B 参数模型。它在多语言基准测试中超越了所有 7B 级模型，在英语评估中接近顶级模型性能，同时拥有显著更低的推理成本 (了解更多)。

Links mentioned:

Nous Research AI ▷ #general (607 messages🔥🔥🔥):

  • SentencePiece Decoding Solved: .ben.com 发现 SentencePiece 在所有 Tokenizer 解码中都会抑制前导空格，导致了“我讨厌计算机”的时刻。一种解决方法是为每个 Chunk 解码整个响应，以确保空格不丢失。

  • Mamba Model Discussions: 在 nonameusr 询问关于 Mamba 模型 的存在后，_3sphere 分享了 GitHub 和 HuggingFace 上 state-spaces 的链接，揭示了参数量最高为 2.8b 的模型。

  • Model Preference Debate: 随后展开了关于 Mixtral 8x7b、Yi-34b 和 LLaMA-2-70b 中哪一个是世界知识（World Knowledge）更优选择的讨论，n8programs 根据经验建议 Mixtral 在深度世界知识方面可能不如其他模型。基准测试和进一步测试被暗示为获得最终答案的手段。

  • 量化技术探讨：包括 mihai4256 和 n8programs 在内的几位成员就模型中的 2 bit quantization 交换了见解，特别是在 Twitter 等平台展示相关进展的背景下，讨论了其对模型效率和大小的影响。

  • 引人注目的新兴模型 —— ‘Miqu’：围绕 HuggingFace 上描述的一个名为 ‘Miqu’ 的 70B 模型 的讨论引发了对其起源和能力的猜测。通过包括对比和翻译在内的各种测试，人们试图了解它与 Mistral medium 的相似性，并对其结构进行了思考，这可能暗示了 Mistral 和 LLaMA 的 merge。

提到的链接：

Nous Research AI ▷ #ask-about-llms (51 条消息🔥):

  • 为 Mixtral Instruct 寻找合适的 Tokenizer：@giulio123456 询问了如何计算 Mixtral Instruct 的 Prompt 的 Token 数量。@_3sphere 推荐了任何 Tokenizer 实现，并特别分享了一个 用于 LLaMA 的 JavaScript tokenizer，同时提醒注意 off-by-one 错误。

  • 使用 Axolotl 微调 OpenHermes：@filippob82 分享了一个使用 axolotl 微调 OpenHermes 的 YAML 配置片段，@teknium 确认该配置有效。讨论指向了模型训练中调整 Token 所需的具体配置。

  • 探索角色行为的 Machine Unlearning：@lorenzoroxyolo 提出了关于 Machine Unlearning 的问题，旨在让一个模型（例如模拟哈利·波特的模型）忘记某些知识（如编写 Python 代码）。对话中重点提到了关于 擦除训练数据的论文 以及关于知识遗忘技术的讨论。

  • 对 Prometheus 评分模型的关注：@.afg1 询问了 Prometheus 评分模型在没有直接模型答案的情况下评估摘要的应用细节，并链接了相关的 arXiv paper。该问题探讨了是否可以使用一个无关的优质摘要作为参考来评估某个摘要。

  • OpenHermes 2.5 中的 Temperature 设置：@realsedlyf 询问 OpenHermes 2.5 是否支持将 Temperature 设置为 0，@teknium 给予了肯定回答。该查询反映了用户对模型在不同 Temperature 设置下生成输出行为的探索。

提到的链接：

  • [NeurIPS 2023 - Machine Unlearning Kaggle](https://www.kaggle.com/competitions/neurips-2023-machine-unlearning/overview): 未找到描述
  • [NeurIPS 2023 - Machine Unlearning Kaggle](https://www.kaggle.com/competitions/neurips-2023-machine-unlearning/discussion/458721): 未找到描述
  • Who's Harry Potter? Approximate Unlearning in LLMs: 大语言模型 (LLMs) 是在海量的互联网语料库上训练的，这些语料库通常包含受版权保护的内容。这给这些模型的开发人员和用户带来了法律和伦理挑战，因为我们…
  • GitHub - belladoreai/llama-tokenizer-js: JS tokenizer for LLaMA: 用于 LLaMA 的 JS tokenizer。通过在 GitHub 上创建账号来为 belladoreai/llama-tokenizer-js 的开发做出贡献。

OpenAI ▷ #ai-discussions (164 条消息🔥🔥):

  • 探讨 GPT-3.5 与 GPT-4 的口语化差异：用户 @vantagesp、@xenowhiz 和 @eskcanta 讨论了 GPT-3.5 和 GPT-4 在口语化程度上的感知差异，探讨了 Prompt 如何影响模型的输出。他们分享了特定的 Prompt，并获得了关于如何实现更自然或更口语化回复的建议，相关对话分享见此链接。

  • 将物理动作与 ChatGPT 集成的挑战：@gegex__ 寻求关于通过 ChatGPT API 调用触发 Python 函数（例如关灯）的建议，用户 @lugui 和 @a1vx 提供了分步指导，包括 API 文档。

  • 利用 GPT-4 进行艺术创作：@aridelta_arktheythem 宣传了一个即将举行的讲座和诗歌朗诵活动，重点关注智能的未来，并提供了活动详情和 Instagram 视频以供进一步了解。

  • 将 GPT-4 与外部工具集成以增强功能：@s4lvin 询问了在 ChatGPT Plus 中将 GPT-4 与 DALL-E 3 集成进行图像生成的流程，引发了关于利用 function call 功能实现模型无缝集成的讨论。

  • 探索 ChatGPT 在游戏开发中的应用：@mragentsshark 提出了关于在 Unreal Engine 任务中部署 ChatGPT 的疑问，参与者 @ash8496 和 @beanz_and_rice 分享了他们在游戏开发环境中使用 ChatGPT 的经验和看法。

提到的链接：

OpenAI ▷ #gpt-4-discussions (75 条消息🔥🔥):

  • 应对 GPT 自定义知识库的缺陷：@blckreaper 表达了对 GPT 无法在文档中定位信息的挫败感，尽管已明确指示其使用搜索功能。经过一番争论后，它最终找到了所需数据，这凸显了 GPT 从自定义知识库中检索能力的间歇性有效性。
  • Custom GPT 创建过程中的小问题：包括 .lightforged 和 @steved3 在内的多位用户报告称，在尝试更新或保存 Custom GPTs 的新行为时遇到技术问题，这表明自周二以来一直存在一个普遍问题，社区中已有专门解决这些错误的讨论帖。
  • 探索 GPT 的“@-calling”功能以增强集成：用户 @serenejay 和 @darthgustav 等用户讨论了利用新的 @-calling 功能在单次对话中调用多个 GPT，以创建复杂的叙事或组合功能，尽管对其操作机制最初存在一些困惑。
  • GPT-4 表现“懒惰”？调查用户体验：@d_smoov77、@_ezee_ 和 @jasonat 报告了 GPT-4 提供不满意回复或建议用户搜索 Bing 而不是直接回答的情况，并建议检查 special instructions 是否存在配置错误作为补救措施。
  • 关于 GPT 模型切换的困惑与好奇：_odaenathus 和 @eskcanta 之间的对话澄清了关于 @-model 切换功能持久性的误解，而 @scargia 指出模型在切换后无需在每个 Prompt 中重新使用 @，强调了与多个模型交互时的灵活性和潜在的困惑。

OpenAI ▷ #prompt-engineering (299 条消息🔥🔥):

  • 规则提醒与澄清：@darthgustav. 提醒 @an_analyst 注意 Rule 7，该规则禁止在频道内进行自我推广、招揽或发布广告。@darthgustav. 进一步澄清了该规则，并指出 API、Custom GPTs 和 Plugin 频道属于例外情况。

  • Prompt 中变量类型的探索：@madame_architect 询问了在 Prompt 中为变量使用不同符号的问题，随后与 @darthgustav. 讨论了针对各种数据类型的语法指示及其随机行为（stochastic behaviors）。

  • 讨论 Prompt Engineering 技术：@madame_architect 提到从一篇关于 “emotionprompt” 的博客文章中学到了新知识，特别是其在 APE (automated prompt engineering) 中的有效性。这引发了关于理解模型 Attention 机制以实现更好 Prompt Engineering 的广泛讨论。

  • 自我批判技术亮点：在讨论 Prompt 技术时，@mad_cat__ 引入了一个他称之为 Hindsight of Consciousness Prompt Technique 的概念，@darthgustav. 对此给出了反馈，建议针对对照 Prompt 进行有效性测试。这演变成了一场关于“自我批判”（self critique）作为一种已知 Prompt 技术的讨论，双方都对进一步探索其潜力表示认可。

  • 技术咨询与协助：该频道作为一个技术交流平台，涵盖了从克服模型生成内容时的局限性（@a1vx 讨论模型“偷懒”/laziness 问题）到处理 JSON 超时的策略（@novumclassicum）。成员们提供了见解，引用了 OpenAI 指南，并分享了个人经验以协助故障排除和探索。

提到的链接：

OpenAI’s Dec 17th, 2023 Prompt Engineering Guide：OpenAI 今天发布了 Prompt Engineering 指南。指南地址：https://platform.openai.com/docs/guides/prompt-engineering。如果你不想自己动手，它已经加载到这个 GPT 中了。这个 GPT 还……

OpenAI ▷ #api-discussions (299 条消息🔥🔥):

  • 针对 an_analyst 的规则澄清：@darthgustav. 解释说发布 URL 可能会违反 Rule 7，该规则禁止自我推广、招揽或广告，但在专门用于 API、Custom GPTs 和 Plugins 的频道中除外。
  • Prompt 变量解析：@madame_architect 询问了在 Prompt 中使用括号的问题，随后与 @darthgustav. 讨论了不同的括号如何指示不同的数据类型，以及它们对模型输出的预期影响。
  • SudoLang 与 ParallelDrive 讨论：@madame_architect 和 @bambooshoots 分享了关于 SudoLang 的见解，该语言托管在 ParallelDrive GitHub 上，被认为是一种通过代码语法而非自然语言来引导 LLM 的综合方法。
  • EmotionPrompt 策略揭示：@madame_architect 强调了 EmotionPrompt 在 APE (Automated Prompt Engineering) 中的实用性，提到了其性能提升率，并建议将其整合到 Memories.txt 中，以引导模型 Agent 执行特定任务。
  • mad_cat__ 探索新的 Prompt 技术：@mad_cat__ 提出了 Hindsight of Consciousness Prompt Technique 的想法，旨在让模型反思并解释其错误的响应，而不仅仅是简单地道歉。

提到的链接：

OpenAI’s Dec 17th, 2023 Prompt Engineering Guide：OpenAI 今天发布了 Prompt Engineering 指南。指南地址：https://platform.openai.com/docs/guides/prompt-engineering。如果你不想自己动手，它已经加载到这个 GPT 中了。这个 GPT 还……

LM Studio ▷ #💬-general (316 条消息🔥🔥):

  • 寻找不受限的冒险体验：@hirquiticke 询问了如何在 LM Studio 中使用不受限（uncensored）的文字冒险模型，寻求一个不会施加道德判断的模型。@dagbs 建议将 Dolphin 模型作为一种多功能选择，特别是用于处理不受限内容，并推荐使用 SillyTavern 与 LM Studio 进行无缝集成。

  • 发现新模型：在讨论中，@agcobra1 报告了 Mistral Medium 在 Hugging Face (HF Hub) 上的泄露，并分享了一个链接（此处），但对其真实性以及与 LM Studio 的兼容性表示不确定。小组讨论了使用未经验证模型的风险，并警告可能存在的 poisoning（投毒）风险。

  • 分享故障排除与优化技巧：用户遇到了各种问题，例如模型自言自语（@cloakedman），或需要特定的部署建议（@broski_1337）。@dagbs 为用户提供了关于使用 ChatML 和调整 pre-prompts 以获得更好效果的具体建议，并为寻求简便设置的 Android 用户推荐了不同的 UI。

  • 探索 Vision 与多模态模型的集成：参与者对将 vision 模型集成到 LM Studio 表现出浓厚兴趣，@sumo_79925 正在寻求关于哪些 vision 模型在不同领域表现出色的建议。@heyitsyorkie 回复了一个指向 CogVLM 的链接，这是 GitHub 上领先的 vision 模型，并强调目前 LM Studio 主要促进文本生成。

  • 对未来 AI 发展与应用的期待：频道内反映了对 LM Studio 未来多模态模型潜力的兴奋，这将允许从文本提示词无缝生成图像。用户讨论了 Stable Diffusion 和 DALL-E 等各种图像生成模型在创意项目中的优点，表明了对开发更通用、更强大的 AI 驱动内容生成工具的强烈兴趣。

提到的链接：

LM Studio ▷ #🤖-models-discussion-chat (74 messages🔥🔥):

  • LLM 爱好者的 GPU 选择：用户正在讨论运行大型语言模型 (LLM) 的最佳 GPU 选项，提到了 RTX 4060 Ti、RTX 3090 和 AMD 的 7900 XTX。@hexacube 正在考虑升级以获得更好的文本生成性能，而 @jayjay70 分享了他们使用双 4060 Ti 处理 LLM 的配置。

  • P40 作为 LLM 的预算之选：关于使用 NVIDIA P40 GPU 处理 LLM 任务的讨论强调了其高性价比和充足的 VRAM，尽管它型号较旧且并非为游戏设计。@dagbs 和 @heyitsyorkie 指出，虽然这是一个预算友好的选择，但它正逐渐过时，特别是缺乏对 Windows 11 等较新操作系统的支持。

  • 多 GPU 支持与模型偏好：对话透露 LM Studio 目前不支持多 GPU，但包括 @dagbs 和 @hexacube 在内的用户正在尝试各种配置以优化性能。用户对模型的偏好各不相同，@dagbs 提到不同模型可以满足对功率和速度的不同需求。

  • LLM 社区资源与进展：用户分享了诸如 https://chat.lmsys.org 上的 LLM 排行榜以及用于获取该领域最新研究和进展的 arXiv。@dagbs 和 @msz_mgs 表示有兴趣紧跟新技术和新模型，显示出一个渴望创新的活跃社区。

  • 技术讨论与优化：聊天内容涉及技术考量，如 VRAM 需求、系统 RAM 以及在不同硬件配置上运行 LLM 的实际操作。@dagbs 提供了根据模型大小分配 VRAM 的经验法则，@hexacube 探讨了在特定任务中将 Tesla P40 与较新 GPU 并行使用的可行性。

提到的链接：

LM Studio ▷ #🧠-feedback (5 messages):

  • LM Studio 需要 AVX2 指令集支持：@.thesherbet 分享了一个 JSON 错误，表明其平台不支持 AVX2 指令，导致无法使用 LM Studio。@kadeshar 建议尝试 LM Studio 的 Beta 版本，该版本仅需要 AVX 支持。

  • 模型位于 iCloud Drive 时 LM Studio 无响应：@tamina7974 报告称，当模型位于 iCloud Drive 目录且未缓存到本地驱动器时，LM Studio 会变得无响应并显示白屏。

  • LM Studio 中的未知错误代码 42：@bypassproduction 在使用 LM Studio 时遇到了未知错误 (Exit code: 42)，并寻求解决建议。诊断信息显示其拥有充足的 RAM 和支持 AVX2 的 GPU。

LM Studio ▷ #🎛-hardware-discussion (144 条消息🔥🔥):

  • Mixtral 模型与 VRAM 需求讨论：@heyitsyorkie 建议，运行 q6 格式的 Mixtral 至少需要 52GB 的 VRAM，这与 @roscopeko 关于使用 3 块 4060TI（共 48GB VRAM）的咨询相反。推荐使用 DDR5 RAM 以获得更好的性能，相比 DDR4 可提升 2-3 tok/s 的速度。

  • 运行 LLMs 的 CPU 考量：@heyitsyorkie 认为新一代 i5 不足以胜任，并建议使用更快的 CPU（如 i9），以防止在运行大型语言模型时成为瓶颈。

  • VRAM 与系统性能：@roscopeko 询问了最具性价比的 VRAM 选项，引发了相关讨论。讨论指出，基于每 GB VRAM 的成本，Nvidia 4060TI 和二手 3090 是最佳选择，尽管它们在性能和发热方面存在差异。

  • 量化与模型性能见解：@aswarp 详细阐述了量化大型语言模型时的权衡，强调了模型大小、计算效率与潜在准确度下降之间的平衡，并引发了关于量化模型在特定应用中适用性的讨论。

  • 运行 LLMs 的硬件推荐：建议范围从在预算限制内最大化 VRAM，到考虑使用配备 192GB RAM 的 Mac Studio（因其运行 LLMs 的效率和性价比），由 @heyitsyorkie 和 @roscopeko 分享。讨论了包括 AMD 和 Nvidia GPU 混用在内的各种配置，共识是兼容性的重要性以及混合不同品牌 GPU 所面临的挑战。

提到的链接：

LM Studio ▷ #🧪-beta-releases-chat (6 条消息):

  • Yi-VL 支持发布：用户 n8programs 兴奋地分享了 yi-vl 支持刚刚发布的消息。这一显著更新似乎是社区内期待已久的功能。

  • Linux GPU 加速故障排除：Adrian-1111 报告了在 Linux Mint 21.03 上使用 Radeon 7900XTX 时遇到的 GPU 加速问题。尽管尝试了各种设置，GPU 似乎仍未被识别，暗示可能存在驱动程序问题。

  • 社区积极协助：针对 Adrian-1111 的询问，jedd1 提供了一系列故障排除问题，heyitsyorkie 建议在 Linux 专用频道发布以获得更多关注，体现了社区互助协作的氛围。

  • Adrian 提供详细反馈：作为回应，Adrian-1111 详细说明了问题，指出他们使用的是 Linux 版本 0.2.10 (Beta V6)，且问题在所有 gpu_layers 设置下依然存在。他们还提到模型 TheBloke • mistral instruct v0 2 7B q6_k gguf 在没有 GPU offload 的情况下可以运行，但效率较低。

  • 针对 Windows 用户的新 Beta 版本修复：yagilb 欢迎大家对最新的 Windows 0.2.11 Beta V1 版本提供反馈，该版本解决了几个关键问题，包括 OpenCL 无法工作、VRAM 容量估算显示为 0 以及应用启动问题的修复。该版本已开放下载，并呼吁社区对这些修复提供反馈。

提到的链接：

未找到标题：未找到描述

LM Studio ▷ #autogen (7 条消息):

  • Autogen Studio 更新导致错误：@jayjay70 报告在更新 Autogen Studio 后遇到服务器错误，具体表现为 ‘messages’ 数组的内容字段为空。他们指出这是一个旧错误，目前仍在寻找修复方案。

  • 新用户遇到相同的 Autogen 错误：@fiveofknives 呼应了 @jayjay70 的问题，在 Autogen Studio 中遇到了完全相同的错误消息，这让作为平台新手的他们感到困扰。

  • 注意到 Autogen 与 TextGen-webui 的行为差异：@jayjay70 发现当 TextGen-webui 与 Autogen Studio 配合使用时，不会产生相同的错误，从而将问题锁定在 LM Studio 运行环境上。

  • 关于 Autogen Studio 配置文件的问题：@jayjay70 询问了 Autogen Studio 配置文件的位置，并提到他们是在通过 PIP 安装的 conda 虚拟环境 (venv) 中使用它的。

  • Autogen Studio 的错误处理能力：@jayjay70 分享了 Autogen Studio 的一次经历：在通过 TextGen-webui 使用 Stable Diffusion 时，它尝试通过自动安装缺失的 Pillow 库来修复错误。

  • 建议关注 NexusRaven-V2 GitHub 仓库：@jgglobal 建议探索用于 function calling 的 NexusRaven-V2 GitHub 仓库，并分享了其 GitHub 页面链接。

提到的链接：

GitHub - nexusflowai/NexusRaven-V2：通过在 GitHub 上创建账号来为 nexusflowai/NexusRaven-V2 的开发做出贡献。

Eleuther ▷ #general (108 messages🔥🔥):

  • Flash-Attention Jax 移植困境：@nshepperd 正在思考打包 Flash-Attention 的 Jax 移植版的最佳策略，考虑到依赖带有 CUDA 的 PyTorch 所带来的复杂性。他们建议 fork 原始仓库以移除 PyTorch 特有的部分，转而采用 Jax 绑定，并强调了由于 CUDA 版本兼容性问题，无法同时安装 torch-cuda 和 jax-cuda 的困境。

  • T5 模型中缺失 Flash Attention：@rallio. 对发现 T5 模型没有 Flash Attention 实现表示惊讶，指出该技术应用中存在明显的空白。

  • AI 专家与媒体误读：@exirae 等人讨论了 Gary Marcus 等 AI 专家在媒体中的影响力，批评了学术竞争和误读如何削弱公众对 AI 能力和风险的理解。@.msklar 引用了 Gell-Mann Amnesia（盖尔曼遗忘）效应进一步扩展了这一观点，@catboy_slim_ 则对专业知识与媒体呈现之间的错位发表了评论，强调了向公众传达准确 AI 进展的复杂性。

  • 关于 X-Risks（生存风险）与生存主义（Prepping）文化的担忧：讨论涉及生存风险（X-risks）以及针对灾难性事件的生存主义文化。讨论范围从 @catboy_slim_ 和 @the_alt_man 对生存主义者心态的批评（强调对生存主义效用和动机的怀疑），到 @rallio. 倡导对生存威胁做好准备，并引用了 Larry Page 和 Mark Zuckerberg 等知名人士据称投资偏远避难所的例子作为支持。

  • 寻找用于模型训练的最新新闻数据集：@danfosing 询问包含 2023 年及可能 2024 年 1 月新闻的数据集，指出近期高质量新闻数据集明显稀缺。他们提到 12 月份的 Common Crawl dump 由于未经筛选而不适用，@sparetime. 建议将 PROQUEST 的爬虫作为具有更新内容的潜在替代来源。

提及的链接：

Eleuther ▷ #research (131 条消息🔥🔥):

  • 探讨 LLM 中 Embedding Tying 的未来：讨论围绕语言模型何时以及为何从 tying（权重共享）转向 untying（权重不共享）词嵌入展开。@maxmatical 询问了这一转变的时间线，而 @catboy_slim_ 认为在大模型规模下，tying embeddings 的收益变得微不足道，甚至可能产生负面影响。

  • 探索 Transformer 中的 Activation Beacon 机制：@leegao_ 详细解释了 Activation Beacon 配合滑动窗口方法如何增强预训练模型压缩激活值并在长序列中保持信息的能力。该方法需要 fine-tuning，但由于 Self-Attention 被限制在最多 L 个 token 内，因此保证了固定的最大空间/时间消耗。

  • MMMU 基准测试引发关注：@avi.ai 批评 MMMU 基准测试的问题设计糟糕，特别是在非 STEM 领域，并举了一个社会学方面的例子，认为其理解有误。此事件引发了关于 AI 研究中基准测试完整性和构建方式的更广泛讨论。

  • 对 Self-Play 项目的兴趣激增：继 @rybchuk 询问对 Self-Play 项目的兴趣后，多位用户（包括 @sumo43、@joiboitoi 和 @sparetime.）表达了兴趣，并表示愿意提供计算资源来复现 SPIN 项目，突显了对深化 Self-Play 机制研究的集体兴趣。

  • SliceGPT 承诺实现高效的模型稀疏化：@pizza_joe 分享了一篇关于 SliceGPT 的论文，这是一种训练后稀疏化（sparsification）技术，通过切分权重矩阵有效减小模型大小，在保持显著任务性能的同时减少计算和内存占用。@leegao_ 对其进行了评价，指出对于像 LLaMA 这样的小型模型，准确率与压缩之间的权衡（tradeoff）可能并不理想。

提到的链接：

Eleuther ▷ #lm-thunderdome (29 条消息🔥):

  • LM Evaluation Harness 中的种子（Seeding）变更：@hailey_schoelkopf 和 @baber_ 讨论了 LM Evaluation Harness 中 few-shot 采样的种子变更，将种子从 42 改为 1234。这一旨在提高一致性的更改可能会影响重新运行时的结果。

  • LM Evaluation Harness 的长期一致性：@.johnnysands 正在更新其 LM Evaluation Harness 的主副本，并担心如何确保长期结果的一致性。尽管可能会导致测试结果发生变化，他们仍考虑更新到最新的 main 分支。

  • 关于 LM Evaluation Harness 中重复惩罚（Repetition Penalty）的讨论：@harrisonv 提出了关于禁用重复惩罚对语言模型评估分数影响的担忧。@hailey_schoelkopf 表示，对于 Hugging Face 模型，可以传递该设置，但默认情况下不启用。

  • 将 RWKV 库集成到 LM Evaluation Harness：@picocreator 正在研究将 RWKV pip 库集成到 LM Evaluation Harness 中，并询问了关于 logprob 输出的处理，以及在进行基于 loglikelihood 的评分时是否有必要禁用 top_p 和 top_k 等设置。@hailey_schoelkopf 澄清说，logprob 应该是逐 token 的 loglikelihood 之和。

  • LM Evaluation Harness 中的逐样本指标：@Goyim 询问是否可以在 Evaluation Harness 中计算并输出每个样本的指标，而不是聚合指标。@baber_ 解释说，使用 —log_samples 将记录每个样本的结果及其所有元数据（metadata）。

提到的链接：

Eleuther ▷ #gpt-neox-dev (34 条消息🔥):

  • Apex 构建问题与解决方案：@catboy_slim_ 发起了一场关于 Apex 构建过程不理想的讨论，建议转向使用预构建的二进制文件，因为在 Docker 环境中构建较新版本的 Apex 耗时过长。他们强调了对预构建 Apex wheel 的需求，特别是针对 ORNL Summit 使用的 ppc64le 架构，以便将 Docker 构建时间缩短到半小时以内。

  • 跨架构兼容性关注：讨论围绕着使 GPT-NeoX 兼容不同架构展开，@tastybucketofrice 透露 GPT-NeoX 已经在 ORNL Summit 的 ppc64le 上运行。@catboy_slim_ 考虑为 Apex 设置预构建的 wheels，以简化安装并解决兼容性问题。

  • 多节点部署障碍：@dayofthepenguin_91344 分享了在多节点集群上设置 NeoX 时遇到的问题，特别是在使用 pdsh 启动器跨两个节点扩展训练时。根据 @tastybucketofrice 的建议（检查容器启动并考虑使用 OpenMPI deepspeed 多节点运行器），最终的解决方案涉及采用一种 hack 方法，以确保在每个 rank 上都设置了虚拟环境。

  • 创建一个带有预构建 Wheels 的定制化 Apex Fork：@catboy_slim_ 分享了一个预构建 Apex wheel 的链接，并表示支持创建一个仅包含必要 kernels 的 Apex fork，以简化构建过程并使设置对开发者更友好。他们还提到要自动化 Apex 的构建过程，并将其作为 Python 包提供。

  • 面向未来的架构支持策略：讨论包括通过建立 Apex 的构建流水线来确保未来可用性，这也将解决从头构建 Apex 这一艰巨任务。@catboy_slim_ 表示愿意根据需要支持其他架构，但强调重点在于 linux_x86_64 和 ppc64le，并提到由于有现成的 Nvidia CUDA 容器，支持后者相对容易。

提到的链接：

Mistral ▷ #general (92 条消息🔥🔥):

  • 将模型嵌入脚本以供离线使用：@mahmoodbashar08 询问了如何将 Mistral 模型嵌入到 Python 脚本中以供离线使用，@vhariational 建议下载 open-weight 模型，并针对硬件受限的情况建议使用 quantized 版本，例如 Hugging Face 上提供的 GGUF 模型。
  • 推理包选择范围扩大：包括 @mrdragonfox 和 @ethux 在内的几位用户讨论了各种推理包，如 ollama、ooba 和 vllm，强调了许多包都提供 OpenAI-compatible endpoints，并暗示推理工具的种类在不断增长。
  • 对 Mistral Medium 权重的需求：关于获取 Mistral Medium 权重的询问浮出水面，@.mechap 询问其位置。然而，@ethux 确认这些目前仍是 closed source，并指出考虑到它们处于 beta 状态，这是可以理解的。
  • 以服务器模式运行模型以提高效率：针对 @mahmoodbashar08 关于在 node llama cpp 中高效加载模型的问题，@tom_lrd 建议以 server mode 运行模型，以便通过本地 API 进行持久访问，并表示这是许多应用程序中的常见做法。
  • 关于潜在 Mistral 模型泄露的猜测：由 @akshay_1 和 @ethux 发起的关于 可能与 Mistral 相关的模型 的讨论暗示了一次泄露。@ethux 澄清了关于真实性以及它是 Mistral 官方主导还是由其他实体 fine-tuned 版本的各种不确定性，引发了对非官方信息的好奇和谨慎。

提到的链接：

Mistral ▷ #deployment (3 条消息):

  • 寻求 Mistral8x7b 的部署建议：用户 @rolexx6326 询问了在 AWS、Azure、GCP 或本地服务器上部署 Mistral8x7b 的事宜。他们分享了来自 Replicate 的 docker pull 命令，并表示有兴趣为公司提供带有类似 ChatGPT 界面的自托管 AI 模型解决方案。

  • 找到自部署路径：@vhariational 向 @rolexx6326 推荐了 Mistral 的自部署文档，并提到虽然大型云供应商提供托管推理解决方案，但它们往往比 DIY 部署更昂贵。

Mistral ▷ #finetuning (16 条消息🔥):

  • 寻求 LLM 微调指导：@sadaisystems 正在寻找关于使用 (Q)LoRAs 微调 Large Language Models 的全面资源（不包括论文），重点关注实践层面。
  • 寻求 RAG 实现的顾问：@brentnhunter 正在寻找一名顾问，以在有限的预算内构建一个 Retrieval-Augmented Generation (RAG) 系统，用于将长篇 PDF 书籍导入 Mistral 的 LLM。最初的预期和具体预算尚不明确。
  • 澄清 RAG 和预算预期：@mrdragonfox 寻求澄清 @brentnhunter 对该项目的预算（是低于 5 万美元还是 1 万美元），并解释说 RAG 的运作方式不同，它是将数据嵌入到 LLM 之外的向量存储中进行语义搜索。
  • 通过询问详细说明系统需求：在询问之后，@brentnhunter 详细说明了他的系统，该系统结合了全栈设置和用于语音激活问答环节的 API，旨在将其与 RAG 集成以处理两本长篇 PDF 书籍。
  • 顾问服务的预算和范围考量：作为潜在顾问的 @mrdragonfox 讨论了预算细节和项目具体要求的重要性，以确定为 @brentnhunter 的 RAG 项目提供咨询的可行性和兴趣。

Mistral ▷ #showcase (18 条消息🔥):

  • 关于 Copilot 替代方案的困惑与澄清：@amagicalbook 在 GitHub 上寻求某个项目的细节，随后 @mrdragonfox 提到了 Copilot 替代方案。他们特别提到了 Tabby/Continue，这引起了一些困惑，后来由 @vhariational 通过提供 Tabby 和 Continue 的链接进行了澄清。

  • 关于自主研究与“喂饭式”信息的辩论：@mrdragonfox 和 @vhariational 之间就直接提供答案还是鼓励自主研究对提问者更有利展开了辩论。@mrdragonfox 表示更倾向于鼓励自主研究，以提高解决问题的能力。

  • 讨论中项目的开源计划：针对有关 GitHub 上某个项目可用性的查询，@hugoduprez 提到了将该项目 开源 的计划，并承诺会向社区通报最新进展。

  • Arithmo2-Mistral-7B 模型发布：@ajindal 介绍了 Arithmo2-Mistral-7B 模型，该模型在 GSM8K、GSM8K PoT 和 MATH 基准测试上比其前代有所改进。模型和 LoRA 适配器的链接已在 Hugging Face 上分享，详细信息可以在 项目的 GitHub 页面 找到。

提到的链接：

Mistral ▷ #random (3 条消息):

  • DoubleMint 与 Xbox CFO 探讨元宇宙：DoubleMint 分享了一个 YouTube 视频，题为 “我向 XBOX 的 CFO 询问了关于元宇宙、2030 年的 XBOX、VR 以及技术的未来”，与 Xbox 的 CFO 讨论了人机交互、虚拟现实和元宇宙的未来。
  • 金奈线下社区聚会：@lokeshkannan 宣布将于 2 月 3 日星期六在金奈举行线下社区聚会，主题为 “使用开源 LLMs 进行构建”。聚会正在寻找具有使用开源 LLM 模型构建产品或解决方案经验的演讲者，受众包括产品经理、数据科学家和首席工程师，海外参与者可以选择通过 Zoom 加入。

提到的链接：

I asked XBOX's CFO about the Metaverse, XBOX in 2030, VR, & tech's future：在这段视频中，我与 Kevin 聊了聊人机交互的未来，并对虚拟现实、元宇宙以及其他一些技术话题展开了深入探讨……

Mistral ▷ #la-plateforme (17 条消息🔥):

  • 寻求使用 Mistral API 的 ChatGPT 替代方案：@adams3996 询问是否有 ChatGPT 订阅的前端替代方案，以便利用 Mistral API 在任何电脑上访问。@ethux 回复确认，虽然目前没有 Mistral API 的 ChatUI 等效产品，但用户可以使用 API key 构建自己的 UI。
  • Mistral 社区对文档和 API 的澄清：@vhariational 指出了 Mistral 文档中关于生成式 endpoints 可能存在的不一致之处，并针对文档中 Mistral 模型的使用提出了修正建议。他们提供了文档的直接链接作为参考。
  • Mistral API 接口的替代方案：@vhariational 和 @chrisbouvard 推荐了第三方接口，如 HuggingChat 以及 Poe 和 Fireworks.ai 运营的平台，这些平台使用 Mistral 模型，为寻找前端界面的用户提供了潜在解决方案。
  • 模型规格与修正：@mrdragonfox 澄清了模型名称和能力，指出 “small 是 8x7b moe”，而 “tiny 是 7b”，修正了错误的标签，并确认不存在 “medium” Mistral 模型。
  • Librechat 作为 Mistral 接口选项：@fersingb 介绍了 Librechat，提到这是一个支持 Mistral 集成的待探索选项，可能为寻求 Mistral API 界面的用户提供另一个替代方案。

提到的链接：

[Endpoints Mistral AI Large Language Models](https://docs.mistral.ai/platform/endpoints/#generative-endpoints)：我们提供具有不同价格/性能权衡的不同 endpoints。我们的 endpoints 依赖于内部模型。

HuggingFace ▷ #general (70 条消息🔥🔥):

  • Hugging Face Autotrain 问题已解决：@rishit_kapoor 询问了关于 Hugging Face 自动训练模型的下载、部署、数据权利以及成本相关的问题。@vishyouluck 确认自动训练的模型可以部署并用于后续推理，并通过指向开源许可澄清了数据权利；同时 @vipitis 引用了服务条款，指出 Hugging Face 绝不会使用私有上传的数据。

  • 提供 RAG 专家协助：@the_aureo 回应了 @skyward2989 关于 RAG 寻求帮助的请求，鼓励通过私信获取建议。

  • 讨论数据集分片以提升性能：在关于数据集性能的讨论中，@lhoestq 向 @kopyl 确认，将数据集拆分为分片（shards）并使用多进程处理确实可以加快操作速度。不过，他们也提到只有在明确要求时才启用 multiprocessing，以避免出现意外行为。

  • 游戏和交易领域 AI 模型的协作创建：@wondeys 表达了启动 Trading AI 或 Poker AI 相关项目的兴趣，并邀请社区成员协作。

  • 即将在金奈举行的线下社区聚会：@lokeshkannan 宣布在金奈举行线下社区聚会，重点是使用开源 Large Language Models (LLMs) 构建产品/解决方案，并征集演讲者向产品经理、数据科学家和首席工程师分享经验。

提到的链接：

HuggingFace ▷ #today-im-learning (7 messages):

  • 音频基础速览：@not_lain 提到关于 audio basics 的初始单元感觉有点偏差，但建议不要纠结太多。
  • 探索声音物理学：@vipitis 分享了一个关于 physics of sound 的极具启发性和互动性的博客 ciechanow.ski/sound，强调了其通过 interactive elements 来更好地理解声音传播。
  • 完成 🤗 Audio Course：@not_lain 宣布完成了由 🤗 提供的 audio course，并收到了 @lunarflu 的祝贺。
  • Personas 在项目中的重要性：@mad_cat__ 分享了关于 personas 在项目开发和执行中被低估的作用的见解，强调了其至关重要性。
  • LLMOps 的自动化测试：@miko_al 发现并分享了 learn.deeplearning.ai 的链接，重点关注 Automated Testing for LLMOps，并建议这是一个值得探索的资源。

提及的链接：

HuggingFace ▷ #cool-finds (1 messages):

  • 新视频探索热门 HF Spaces：用户 @devspot 分享了一个 YouTube 视频，标题为 “Meta’s Text to Audio is INSANE - MAGNet, Moondream & ZeroShape!”。该视频简要探索了最近热门的 HuggingFace spaces，验证了 3-4 个不同 AI 应用的功能。

提及的链接：

Meta’s Text to Audio is INSANE - MAGNet, Moondream & ZeroShape!：关于过去几周一些热门 HuggingFace spaces 的简短视频。在视频中，我们探索了 3-4 个不同的 AI 应用并验证了它们的功能…

HuggingFace ▷ #i-made-this (10 条消息🔥):

  • 4n7m4n 发布的 ML 安全警报：@4n7m4n 分享了他们关于 ML 安全的博客文章，强调了通过 Google Colaboratory 可能危及 Google Drive 数据的威胁。这篇名为《Careful Who You Colab With》的文章为使用 Google Colab 的 ML 研究人员和教育工作者敲响了警钟。

  • FumesAI 演示图像模型：@myg5702 在 Hugging Face 上介绍了 FumesAI 演示，展示了图像模型的实际运行。点击此处查看这些模型的实际应用演示。

  • Stroggoz 的 Gantrithor 演示：@stroggoz 分享了一段使用 Gantrithor 的 YouTube 视频。该应用可以在 5 分钟内对 conll 数据集中的 10,000 份文档进行标注，从而训练出准确率达 86% 的 NER 模型。该应用及其功能可在此处预览。

  • AI Simmons Art Bell 节目：@.plot 使用 Mistral、Ollama 和 Coqui 模拟了 Art Bell 的热线广播节目，创造了一个独特的 AI 生成的未知领域探索。该创作的 YouTube 视频名为“Open Lines - AI Art Bell v.04 Riding the Wire”，可在此处观看。

  • SoniTranslate 项目：@R~S~ 开发了一个利用 Transformer、Whisper、Openvoice, Bark, VITs, Wav2vec2 和 Pyannote 进行视频片段同步翻译的项目。这个开源项目托管在 GitHub 上，旨在将翻译后的文本叠加在视频对应的时间戳上。

  • 使用 tony_assi 的工具发现你的 Vogue 时尚孪生子：@tony_assi 分享了一个有趣的 AI 工具，它可以从 Vogue Runway 上 1700 个系列的 9 万张图片中，为用户匹配长相相似的时尚系列。感兴趣的用户可以在 Hugging Face Spaces 尝试该工具。

提到的链接：

HuggingFace ▷ #reading-group (8 条消息🔥):

  • 寻求制造业中的机器学习读物：用户 @gschwepp_84093 询问了关于机器学习算法在制造业中应用的推荐读物，寻求社区的建议。

  • 法律 AI 演示预览：@chad_in_the_house 分享了他们即将举行的法律 AI 演示预览，并提供了一篇 medium 文章，概述了在法律背景下使用 AI 的挑战以及该领域的当前研究现状。该帖子详细探讨了在法律领域用算法取代人类判断的困难。

  • 简化法律中的论证逻辑：此外，@chad_in_the_house 提到计划简化其法律 AI 演示中关于论证逻辑的内容，表示其复杂性需要花费大量精力才能理解。这说明了所讨论课题的复杂性。

  • 对 Stream Diffusion 的兴趣：用户 @skyward2989 提出了社区对 Stream Diffusion 兴趣的问题，可能暗示了对该领域最新进展或应用的讨论。

  • 学习用于 AI 应用的 GPU 编程：@skyward2989 还表达了学习 GPU 编程和底层操作（如编写 CUDA kernels）的愿望，正在为这一技术领域的初学者寻找资源。这可能会促使大家分享教育资源和关于开始 GPU 编程学习项目的建议。

相关链接：

Literature Review on AI in Law：这篇博客的灵感来自 Laion Discord 服务器的 Owl。感谢这些讨论！在这篇博客中，我的主要目标是探讨为什么……

HuggingFace ▷ #diffusion-discussions (6 条消息):

  • Pro 用户的 Colab 计算资源困惑：@iloveh8 对为什么作为 Pro 用户会耗尽 Colab 计算资源表示困惑，尽管他们打开了许多标签页但并未运行任何代码。
  • 寻找好用的 Clip 检索工具：@pawanp3 正在寻找一个可靠的 Clip 检索工具来查询 LAION-5B 数据集。他们在 GitHub 上找到了 clip-retrieval，但注意到后端 URL 似乎已失效。
  • WhiteRabbitNeo-33B-v1 发布：@compscifutures 重点介绍了 Migel Tissera 发布的 WhiteRabbitNeo-33B-v1 模型，该模型具有“提示词增强（Prompt Enhancement）”功能，可在 WhiteRabbitNeo.com 获取。此外还发出了加入其 Discord 服务器的邀请。
  • 通过 Twitter Space 获取网络安全见解：@compscifutures 分享了一个 Twitter Space 链接（Twitter Space 链接），内容是与 WhiteRabbitNeo 的作者 Migel Tissera 讨论网络安全。
  • 关于 OpenAI 框架的询问：@amir_martinez. 偏离了主题，询问是否有人可以访问 OpenAI 框架，但未具体说明其寻找的内容。

相关链接：

HuggingFace ▷ #computer-vision (9 条消息🔥):

  • 讨论自动模型导入：@iloveh8 发起了一场关于自动化从 Hugging Face 导入新模型以增强用例可行性的对话。他们询问了关于应用 CI/CD 或 MLOps 技术来无缝集成特定应用的最佳模型。

  • 对自动模型选择的怀疑：@johko990 对自动选择“最佳”模型的复杂性提出了担忧，原因是 Benchmark 各异以及特定用例的独特需求。他们认为模型性能的微小提升可能不足以支撑频繁更换模型。

  • 对谨慎方法的认同：@gugaime 赞同 @johko990 的观点，认为盲目追求排行榜上的最新模型可能是不明智的，并建议此类决策不应草率做出。

  • 引入动态模型合并/更新的概念：@iloveh8 将他们的想法比作 dynamic model merging/updating 和 AutoML for pretrained diffusion generative models，表达了对更具自主性和适应性的模型管理的需求。

  • 提及 Depth Anything 模型：@johko990 分享了 Hugging Face 上 Depth Anything 模型的链接，展示了该平台上可能适用于此类自动导入系统的先进模型示例。

  • 询问 LoRA 的 AutoTrain 设置：@b1gb4ng 询问了 Hugging Face AutoTrain 中 LoRA 训练的设置，特别是针对 10 张图像进行训练所需的 Epoch 数量，表明用户对模型训练过程的详细配置信息感兴趣。

相关链接：

Depth Anything: 未找到描述

HuggingFace ▷ #NLP (22 条消息🔥):

  • 揭秘 In-context Learning：@stroggoz 询问了关于 In-context Learning 的问题，@vipitis 回应并解释称，这是在 Prompt 开始处为模型提供几个示例以进行 Few-shot Learning。他们还分享了 GPT-3 论文 以供进一步阅读。
  • Few-shot Learning：一把双刃剑：@vipitis 警告说，虽然 One-shot/Few-shot Learning 可以显著提高输出准确性，但也会使模型容易过度依赖 Prompt 上下文，导致潜在的幻觉（Hallucinations），尤其是在代码模型方面。
  • 在 Hugging Face 上寻找合适的关键词提取模型：@shashwat_g27 寻求一个从句子中提取关键词的模型，@vipitis 建议训练一个 Span Prediction 模型。@stroggoz 进一步推荐探索 KeyBERT，并分享了 Hugging Face 平台上的一个关键词提取模型链接。
  • 转换文本生成模型以支持俄语：@cherrykorol 讨论了从 GPT-2 切换到 rugpt 以支持俄语，旨在开发一个问答系统。
  • 解决 Hugging Face 模型的 ONNX 转换问题：@denisjannot 报告称成功微调了一个模型并将其转换为 ONNX。然而，他们遇到了一个问题：ONNX 模型的响应与输入完全一致，而转换前的模型并无此问题。

相关链接：

HuggingFace ▷ #diffusion-discussions (6 messages):

  • Colab 计算资源困惑：@iloveh8 表达了作为 Pro 用户在 Colab 上耗尽计算资源的困惑，尽管他们在打开的多个标签页中并没有运行任何代码。
  • 寻找 Clip Retrieval 工具：@pawanp3 正在为 LAION-5B 数据集寻找一个好的 Clip Retrieval 工具，并提到了一个指向潜在有用工具的损坏链接。
  • WhiteRabbitNeo 的新功能：@compscifutures 强调了 Migel Tissera 创作的 WhiteRabbitNeo-33B-v1 模型，该模型现已上线并具备“Prompt Enhancement”功能，并分享了关于 Twitter Spaces 上网络安全模型的讨论链接。
  • 对 WhiteRabbitNeo 的热情：@chad_in_the_house 对 WhiteRabbitNeo 模型表示了热情，称其非常棒。
  • 关于 OpenAI 框架的无关咨询：@amir_martinez. 转移了话题，询问是否有人拥有 OpenAI 框架，但未提供有关其请求的上下文或额外信息。

提到的链接：

LangChain AI ▷ #general (77 messages🔥🔥):

  • OpenAI 的新 Embedding 模型和 API 工具：@capit0 分享了 OpenAI 博客文章的链接，宣布了新的 Embedding 模型、更新的 GPT-4 Turbo 预览模型、更新的 GPT-3.5 Turbo 模型、文本审核模型以及新的 API 使用管理工具。文章还强调了 GPT-3.5 Turbo 的降价，并介绍了两个新的 Embedding 模型，可在此处查看。

  • Chroma 故障排除集锦：@sheldada 在仅限 HTTP 客户端模式下使用 Chroma 时遇到了多个问题，导致 RuntimeError，表明它只能以 ‘chromadb.api.fastapi.FastAPI’ 作为 chroma_api_impl 运行。其他人提供了有用的建议，包括 @johnny2x2 讨论的切换到 pg-vector 以简化操作并支持 Docker。

  • 探索 LangChain 的独特集成：多位用户（包括 @nullbit0 和 @mikdad）讨论了将各种工具与 LangChain 集成，用于多 Agent 系统以及将 Hugging Face 与 OpenAI 结合等应用。此外，@techexplorer0 寻求关于创建具有记忆和上下文处理能力的本地对话式 RAG 聊天机器人的建议。

  • 对开源解决方案和项目构思的兴趣：@caleb_sol 鼓励开源自查询检索器（self-querying retriever）系统，因为这可能会带来该领域的认可和机会。同时，@johnny2x2 提出了一个想法，即利用个人 GPU 资源进行推理并作为本地服务，建议建立一个基于用户可用资源的自我调节市场。

  • OpenAI Embedding 函数错误与解决方案：@sheldada 报告了在使用 LangChain 的自查询检索系统时，’OpenAIEmbeddingFunction’ 没有 ‘embed_query’ 属性的 AttributeError。尽管 @johnny2x2 提供了建议和故障排除步骤（包括正确使用库和潜在的重新安装），但问题仍然存在，没有明确的解决方案。

提到的链接：

LangChain AI ▷ #langserve (8 messages🔥):

  • 生产环境中的点符号标注困境：hiranga.g 在生产环境的 prompts 中使用点符号标注（dot annotation）时遇到错误，尽管在测试中运行正常。该问题与访问 JSON 请求对象中的嵌套数据有关。
  • 寻求 LangServe 帮助：hiranga.g 向具有 LangServe 专业知识的用户寻求帮助，希望能解决在项目中使用嵌套数据以及添加数组或计算函数等复杂结构的问题。
  • 四重花括号的启示：hiranga.g 发现使用四重花括号 {{{{variable.nestedVar}}}} 暂时解决了他们的问题，并分享了这一技巧，暗示这可能是处理 prompts 中嵌套数据时转义字符的一种变通方案。
  • 回到原点：遗憾的是，四重花括号技巧并未如预期般彻底解决问题。hiranga.g 分享了一条错误信息，显示预期的变量缺失，突显了在正确配置系统方面持续面临的挑战。
  • 发现 Python f-strings 的妙用：最终，hiranga.g 发现使用 Python 的 f-strings 解决了在 LangChain 中访问嵌套数据的问题，在表达解脱的同时，也对解决这个简单的修复方案所耗费的时间感到沮丧。

LangChain AI ▷ #langchain-templates (1 messages):

  • 关于图像输入处理的咨询：用户 @nav1106 询问是否可以为类型为 image_url 的 HumanMessage 内容设置输入变量，以便改用图像的 base64 字符串。他们寻求用 base64 编码的图像字符串替换标准的图像 URL。

LangChain AI ▷ #share-your-work (8 messages🔥):

  • 塑造 AI 对话的 Semantic Router：@andysingal 介绍了一项关于 Semantic Router 对 AI 对话和 LangChain 技术影响的启发性探索。其变革潜力在他们的 博客文章 中得到了强调。

  • 寻找用于 YouTube 和播客摘要的 AI：@moneyj2k 正在寻找一种 AI 应用，能够总结 YouTube 观看历史和播客，然后将摘要输入到 Obsidian 或 Notion 等笔记应用中。对话中未提供直接建议。

  • 介绍一个面向 AI 人才的反向招聘板：@sumodd 分享了他们的作品 Neural Network，这是一个专门为有志于从事 AI 工作的人员量身定制的免费反向招聘板。它允许工程师和创意人员创建免费档案，以便接触寻找 AI 人才的公司。

  • 使用 Python 更简单地下载 Google Sheets：@johnny2x2 分享了一个使用 requests 和 pandas 模块轻松将 Google Sheets 下载为 CSV 文件的 Python 代码片段。该代码片段是数据处理的实用工具。

  • 关于 Semantic Routing 基础的辩论：@v7__v 和 @andysingal 就 Semantic Router 影响讨论中遗漏 NeMo Guardrails 的问题展开了讨论。@v7__v 引用了 James Briggs 的工作作为基础，促使 @andysingal 考虑重新评估他们的资源，包括 Briggs 的一段特定 YouTube 视频。

提到的链接：

LangChain AI ▷ #tutorials (1 条消息):

  • 使用 ChainLit, LangChain, Ollama & Mistral 构建类 ChatGPT 的 UI：由 datasciencebasics 分享了一个名为 “使用 ChainLit, LangChain, Ollama & Mistral 创建聊天 UI 🧠” 的新教程视频。该视频指导观众在本地计算机上创建简单的类 ChatGPT UI 的过程，并引导他们通过克隆特定的 GitHub 仓库进行同步操作。

提到的链接：

使用 ChainLit, LangChain, Ollama & Mistral 创建聊天 UI 🧠：在此视频中，我将演示如何在本地计算机上创建一个简单的类 ChatGPT UI。你可以通过克隆仓库跟我一起操作…

LAION ▷ #general (89 条消息🔥🔥):

  • AI 模型与游戏开发挑战：由 @vrus0188 和 @nx5668 发起的关于游戏中 NPCs 所需 Language Learning Models (LLMs) 规模的讨论。建议较小的 2B 模型足以处理基础的 NPC 交互，但更复杂且一致的行为可能至少需要 7B 模型。这次交流说明了 2D RPGs 中 NPCs 所需的巨大资源，暗示此类技术进步可能不会很快实现。

  • PixArt 与模型评估热度上升：@qwerty_qwer 和 @pseudoterminalx 就 PixArt-α 展开了对话，该模型旨在生成专业的历史水彩画，反映了用户对 AI 生成图像中现实主义与艺术风格平衡的持续实验和讨论。对话中包含了一个指向 PixArt-α GitHub 仓库的链接，突显了社区对提高 AI 处理特定艺术需求能力的兴趣。

  • AI 在审核工具中的作用：用户之间（特别是 @pseudoterminalx、@chad_in_the_house 和 @astropulse）进行了一次轻松但深刻的交流，讨论了利用 AI 进行情感分析 (sentiment analysis) 以简化在线用户交互审核过程的创新用途。这一贡献强调了 AI 在识别问题内容方面的潜力，预示着未来 AI 审核数字空间 将变得更加普遍。

  • 关于搜索引擎 AI 集成的对比讨论：用户 @SegmentationFault 和 @qwerty_qwer 就 Bing 和 Google 的 AI 集成 的有效性展开辩论，对其在提供准确信息和搜索结果方面的能力持有不同看法。这次对话反映了广大社区对 AI 增强型搜索工具演变格局的关注。

  • 增强 AI 模型训练与微调的努力：用户们表达了改进 AI 模型的持续努力，其中 @pseudoterminalx 讨论了 模型训练流程的优化，而 @thejonasbrothers 则对微调 PixArt 和 SDXL 相关的挑战和细微差别提供了见解。这些讨论体现了社区致力于突破 AI 图像合成和模型复杂性界限的热情。

提到的链接：

LAION ▷ #research (5 messages):

  • Google’s Bard 超越 GPT-4：@vrus0188 宣布 Google’s Bard 已攀升至排行榜第二位，超越了 GPT-4。这是 Twitter 上的公告。
  • 新型 AI 在 Text-to-Image 任务中击败 DALL-E 3 和 SDXL：@vrus0188 分享了一个在 Text-to-Image 任务中表现出色的新模型信息，特别强调了其在处理多对象和文本-图像语义对齐方面的优越性。该模型的详细信息在 Reddit 帖子 中讨论，论文可在 arXiv 查阅，代码已托管至 GitHub。
  • 协作 AI 论文提升了 RLHF 性能：@vrus0188 重点介绍了一篇由 ETH Zurich、Google 和 Max Plank Institute 团队共同撰写的论文，旨在改进 Reinforcement Learning from Human Feedback (RLHF) 策略。该论文的讨论可以在 Reddit 上找到。
  • Eagle 7B：一个超越 Transformers 的模型：@top_walk_town 介绍了 Eagle 7B，这是一个基于 RWKV-v5 架构构建的高效 7.52B 参数模型，以其环保特性和多语言熟练度而著称。更多见解请参考 详细博客文章。

提到的链接：

Perplexity AI ▷ #general (52 messages🔥):

  • 对新人的热烈欢迎：@kudos0560 在加入 Discord 频道时受到了包括 @mares1317 在内的其他用户的热烈欢迎。未分享特定主题或链接，仅为问候。
  • 关于 API 和 Copilot 集成的疑问：@lennard. 询问了将 Copilot 与 API 结合使用的可能性，@icelavaman 进行了回复并提供了进一步信息的链接。讨论表明 Copilot 功能仅限于在线模型。
  • Perplexity 用户讨论模型版本：包括 @victor5296 在内的用户讨论了 Perplexity 所使用的 GPT-4 模型的具体细节，@icelavaman 提供了澄清和链接。对话包括关于使用 GPT-4 turbo 的查询，并解决了连接问题。
  • 订阅模式的查询与疑虑：@minister_pluffers 询问订阅结束后 ChatGPT4 是否仍然可用，随后得到澄清：订阅结束后 GPT-3.5 将成为默认模型。@icelavaman 和 @brknclock1215 提供了额外背景。
  • 支持与服务可用性问题：@dapperduff、@krayziejim 和 @yuki.ueda 等用户报告遇到了技术问题，包括停机和支持工单无响应。@ok.alex 提供了帮助，并引导用户私下分享更详细的信息以便进一步协助。

提到的链接：

Perplexity AI ▷ #sharing (15 messages🔥):

  • Perplexity AI 在特定搜索和整合概览方面表现出色：用户 @rainlain666 对 Perplexity AI 能够查找特定网站、图片和视频并将其整合为任何查询的全面概览表示赞赏。

  • 使用 Perplexity 学习编程的效果优于付费替代方案：@fortunate1 使用 Perplexity 在 Ninja Trader 8 Code Editor 中学习编程，发现它比他们付费的另一个 AI 服务更有效。他们分享了 AI 回答的截图： 和 。

  • 发现北美前五大健康浆果：@geordiemilne 在 Perplexity AI 上找到了关于北美前五大浆果的信息，这些浆果含有抗氧化剂和其他健康元素，并分享了结果链接以供进一步阅读 here 。

  • 使用 Perplexity AI 幽默地吐槽骗子：@gumby2411 在 Perplexity AI 上通过自定义 AI 提示词创建了一个集合，用于生成关于诈骗帖子的幽默警告（包括清理通风口和居家办公诈骗），而无需直接指责发布者。骗子打击工具的链接可以在 这里 找到。

  • 利用 Perplexity Collections 的教程：@parthdasawant 分享了一个名为 “Tutorial: Perplexity Collections” 的 YouTube 视频，该视频深入介绍了如何将 Perplexity 中的 “Collections” 作为 AI 研究工具使用。该教程旨在指导用户如何有效地围绕特定主题对线程进行分组。点击 这里 观看教程。

提到的链接：

Tutorial: Perplexity Collections：揭示 Perplexity 中 “Collections” 的强大功能，这是一款顶级的 AI 研究工具。本教程将指导你有效地围绕特定主题对线程进行分组…

Perplexity AI ▷ #pplx-api (14 messages🔥):

  • 通过 PPLX API 寻求更新的新闻：@akhil_pulse_energy 尝试通过 PPLX API 获取最新的新闻文章，但最终得到的是一年多以前的文章。@brknclock1215 建议在查询中使用 Google 搜索操作符，如 after:yyyy-mm-dd，以可能获得更新的结果。

  • 寻找具有类似网页准确度的最佳模型：@akhil_pulse_energy 询问哪种模型能获得与网页版准确度相似的结果，对此 @icelavaman 建议使用在线 LLM，因为它们是唯一具有互联网访问权限的模型，因此最接近网页版本。

  • Perplexity Pro 的 API 额度问题：@defektivex 反映未收到 Perplexity Pro 的 API 额度，@me.lk 建议其发送邮件至支持部门并提供账户详情。Defektivex 提到昨晚已经发送了邮件。

  • 寻找 Perplexity API 的替代方案：@defektivex 表示在他的研究工作流中需要一个 API 版本的 Perplexity 网页版，并讨论了替代方案。@brknclock1215 观察到 Perplexity 的立场发生了转变，对于在 API 响应中包含来源的反馈变得更加开放。

  • 关于响应中来源 URL 的查询：@Srulik 询问 API 的响应是否包含来源 URL。@mares1317 回复了一个指向进一步讨论的链接，但在引用的内容中未提供直接回答。

LlamaIndex ▷ #blog (3 messages):

  • 构建企业级 RAG 变得更加容易：@rungalileo 深入探讨了构建企业级检索增强生成 (RAG) 系统的架构，涵盖了算法和系统层面的组件。在这份综合指南中发现更多内容 点击这里。

  • AI 工程师在 LLM OS 上面临的七大关键挑战：识别 AI 工程师在构建大规模智能 Agent 时面临的七个关键挑战，包括提高准确性和优化并行执行，为 AI 工程所需的进步提供了宝贵的见解。更多探索请见 这里。

  • 利用知识图谱增强 RAG：@chiajy2000 解释了如何将知识图谱 (KG) 整合到 RAG 流水线中，解决了用户的常见疑问，并展示了各种与图相关的技术。视觉学习者可以参考包含的图表和更详细的内容 点击这里。

LlamaIndex ▷ #general (57 条消息🔥🔥):

  • 发现 Azure 配置错误：@warpwing 在将 Llama Index 与 Azure Open AI 集成时遇到了困难，原因是代码中的顺序错误。@cheesyfishes 指出错误在于在设置全局 service context 之前创建了 index，@warpwing 对此表示感谢。

  • 确认 Postgres 的 Async 支持：针对 @rnovikov 的询问，@cheesyfishes 确认 LlamaIndex 确实支持 async PostgreSQL drivers，并特别提到 postgres vector store 已完全通过 async methods 实现。

  • Akshay 提供 RAG Stack 指导：@akshay_1 为任何在 RAG stack 方面遇到困难的人提供帮助，并与 @techexplorer0 进行了交流，后者在几次交互后遇到了 Contextchatengine 上下文丢失的问题。Akshay 询问了所使用 model 的更多细节以便进行故障排除。

  • 建议 PDF 解析方案：针对希望解析复杂 PDF 的 @ziggyrequrv，@akshay_1 推荐使用 pdfminer 和 pymupdf 等工具，并探索 opencv 选项（如 tesseract）来处理 PDF 中的图像、链接和其他元素。

  • 多 Retriever 链式调用可行：针对 @anupamamaze 关于在 LlamaIndex 或类似应用中链接多种类型 retrievers（vector、keyword 和 BM25）是否可行的问题，@akshay_1 确认了其可能性，并特别提到 Haystack 是一个可以实现此功能的平台。

Latent Space ▷ #ai-general-chat (35 messages🔥):

  • 结构化数据的 RLHF/DPO 咨询：@sandgorgon 探讨了 RLHF/DPO 是否适用于高 Temperature 用例之外的场景，寻求其在结构化数据中相关性的见解。目前尚未引用明确的答案或论文。
  • 新版 4turbo 评价褒贬不一：在 @jozexotic 询问新版 4turbo 的创意标题后，@swyxio 确认使用了相同的设置，但结果被认为是一种退步，详见此处关于 GPT4 Turbo 随时间推移性能表现的对比 here。
  • AI 辅助的数字摄影学习之旅：@slono 开始学习数字摄影，计划利用来自 Adobe 等公司的 AI 工具以及自定义代码来增强学习并管理照片。
  • 关于 ChatGPT “偷懒”问题的讨论仍在继续：@btdubbins 提出 ChatGPT 尚未克服其“偷懒”问题，理由是代码生成不完整和占位符内容等问题。这引发了关于使用 API 调用以获得更好性能的建议。
  • Perplexity 搜索引擎面临批评：Perplexity 作为默认搜索选项在试用后遭遇挫折，@swyxio 分享了一位用户很快就换回 Google 的经历。与此同时，@guardiang 为 Perplexity 提供的多样化模型辩护，建议 Copilot 可能会提供更优越的体验。

提到的链接：

  • 来自 undefined 的推文：未找到描述
  • 来自 Jay Hack (@mathemagic1an) 的推文：从 langchain => DSPy 的跨越感觉类似于 2010 年代后期 PyTorch/Chainer 为深度学习带来的声明式 => 命令式的转变。突然之间有了更多的灵活性…
  • 来自 zachary (@wenquai) 的推文：我对 Arc 浏览器中将 @perplexity_ai 作为默认搜索选项感到非常兴奋，试用了大约 30 分钟，立即改回了 Google。
  • Qdrant: 开源向量搜索引擎和向量数据库 (Andrey Vasnetsov)：CMU 数据库小组 - ML⇄DB 研讨会系列 (2023)。演讲者：Andrey Vasnetsov (Qdrant)，2023 年 9 月 11 日。赞助商：Google DA…
  • 来自 Q (@qtnx_) 的推文：我们目前所知道的 - /lmg/ 上的匿名用户发布了一个名为 miqu 的 70b 模型，称其效果很好 - 使用与 mistral-instruct 相同的指令格式，32k 上下文 - 在基础测试中表现极佳，答案相似…
  • 来自 swyx (@swyx) 的推文：A/B 测试：GPT4 Turbo 总结超过 10 万字。相同的 Prompt，几乎相同的语料库，不同的模型。2023 年 11 月：https://buttondown.email/ainews/archive/ainews-gpt4turbo-ab-test-gpt-4-1106-preview/ 2024 年 1 月…
  • 来自 zachary (@wenquai) 的推文：我对 Arc 浏览器中将 @perplexity_ai 作为默认搜索选项感到非常兴奋，试用了大约 30 分钟，立即改回了 Google。

Latent Space ▷ #llm-paper-club (2 messages):

  • 关于 Self-Rewarding Language Models 的东方 LLM 论文俱乐部会议：@ivanleomk 宣布了新加坡时间周五下午 6-7 点的东方论文俱乐部会议，重点讨论 Self-Rewarding Language Models 论文。注册活动并将其添加到您的日历以获取未来 Latent.Space 活动的最新动态。

  • _bassboost 未提供额外上下文：_bassboost 的消息未提供与 LLM 论文讨论或相关话题相关的上下文。

提到的链接：

LLM Paper Club (亚洲版!) · Luma：Latent.Space x EugeneYan.com LLM 论文俱乐部的亚洲时区友好版！本周我们将讨论新的 Self-Rewarding Language Models 论文 (…

DiscoResearch ▷ #general (4 messages):

  • 世界知识困境 (World Knowledge Dilemma)：用户 @aslawliet 寻求关于在 Mixtral 8x7b、Yi-34b 和 LLaMA-2-70b 之间选择世界知识应用的建议，但在给出的消息中没有提供明确的建议。
  • Jeremy Howard 的 CUDA 编程入门：@rasdani 分享了 Jeremy Howard 的 CUDA 编程入门邀请，计划于 21:00 在 此 Discord 活动 举行。该会议也将被录制以便后续观看。
  • 新的 Grounded Artificial Datasets 论文：@bjoernp 链接了 Microsoft 关于用于检索增强生成 (RAG) 的 Grounded Artificial Datasets 的 新论文，强调了其与当前讨论的相关性，并指出了建议的质量评估指标。

提到的链接：

DiscoResearch ▷ #embedding_dev (1 messages):

sebastian.bodza: >80k

DiscoResearch ▷ #discolm_german (10 messages🔥):

  • 寻找使用 Ollama 的最佳 DiscoLM 设置：用户 @jannikstdl 向社区征求关于将 DiscoLM German 与 Ollama 集成的建议，重点是寻找最有效的 modelfile 配置。
  • 模板问题导致 LLM 响应乏力：@jannikstdl 分享了他们最初的 Ollama 模板代码，导致 LLM 仅响应 `

Alignment Lab AI ▷ #general-chat (1 messages):

  • 寻找 2023 年新闻数据集：@danfosing 正在寻找包含 2023 年以及可能包含 2024 年 1 月 新闻文章的数据集。他们还提到无法在另一个特定频道 (<#1117625732189933650>) 发布消息。

Alignment Lab AI ▷ #oo (5 messages):

  • 专注私信苦干 (Dedicated DM Grind)：autometa 提到他们已经给一位收件人发送了大约 10 条私信 (DMs)，强调了他们对这种“苦干 (grind)”的投入。
  • 寻找遗失的讨论：ilovescience 询问是否在其他地方进行讨论，teknium 确认没有，讨论并未在其他地方进行。随后 teknium 发送了一个单独的表情符号，可能表示对情况的轻松认可。

AI Engineer Foundation ▷ #general (1 messages):

  • 开源 AI 工具查询：用户 @kudos0560 向社区征求关于 AI 开发最佳开源工具的建议，并强调 Mistral 是一个不错的选择。他们邀请其他人分享自己的偏好。
← 返回首页