Phi-4-multimodal-instruct

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

DeepSeek-VL2是一系列大型Mixture-of-Experts视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等任务上展现出卓越的能力。DeepSeek-VL2包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集和MoE基础模型相比，达到了竞争性或最先进的性能。

InternVL2_5-1B-MPO是一个多模态大型语言模型（MLLM），它基于InternVL2.5和混合偏好优化（MPO）构建，展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式，并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色，能够处理包括图像描述、视觉问答等多种视觉语言任务。

xiaozhi-esp32 是一个开源的 AI 聊天机器人项目，基于乐鑫的 ESP-IDF 开发。它将大语言模型与硬件设备相结合，使用户能够打造出个性化的 AI 伴侣。项目支持多种语言的语音识别与对话，具备声纹识别功能，能够识别不同用户的语音特征。其开源特性降低了 AI 硬件开发的门槛，为学生、开发者等群体提供了宝贵的学习资源，有助于推动 AI 技术在硬件领域的应用与创新。项目目前免费开源，适合不同层次的开发者进行学习与二次开发。

Phind是一款基于人工智能的先进搜索工具，能够通过多轮对话和多语言支持帮助用户快速获取信息。它支持多种搜索方式，包括文本、语音和图像搜索，能够提供更精准的搜索结果。Phind的主要优点是其强大的自然语言处理能力和多语言支持，能够满足不同用户的需求。该产品定位为高端智能搜索工具，适合需要高效获取信息的用户。

DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等多种任务上展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有10亿、28亿和45亿激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

Silvia是一款能够适应用户说话方式的语音输入系统，支持用户在不同语言之间自由切换，即使在句子中也能无缝切换。它支持英语和西班牙语，并且即将支持法语、罗马尼亚语、德语和荷兰语。Silvia作为苹果应用商店中的扩展，可以用于所有聊天平台，如iMessage、WhatsApp、Signal、Telegram、Messenger等，让用户在任何需要打字的地方都能使用语音输入。

Amazon Nova Sonic 是一款前沿的基础模型，能够整合语音理解和生成，提升人机对话的自然流畅度。该模型克服了传统语音应用中的复杂性，通过统一的架构实现更深层次的交流理解，适用于多个行业的 AI 应用，具有重要的商业价值。随着人工智能技术的不断发展，Nova Sonic 将为客户提供更好的语音交互体验，提升服务效率。