MiniMax-Text-01

1年前发布 20 0 0

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP...

收录时间：

2025-05-30

打开网站手机查看

文案写作 # 并行策略 # 文本生成 # 混合架构 # 语言模型 # 长上下文处理

MiniMax-Text-01

MiniMax-Text-01

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。

数据统计

相关导航

ultravox-v0_4_1-llama-3_1-70b

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

dolmino-mix-1124

DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集，用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据，旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。

BestModelAI

BestModelAI是一款智能AI模型选择工具，能自动从100多个选项中选择最适合的模型，无需用户了解模型复杂性。其主要优点在于智能路由到最佳模型、无需专业知识、使用方便快捷。

s1-32B

s1是一个推理模型，专注于通过少量样本实现高效的文本生成能力。它通过预算强制技术在测试时进行扩展，能够匹配o1-preview的性能。该模型由Niklas Muennighoff等人开发，相关研究发表在arXiv上。模型使用Safetensors技术，具有328亿参数，支持文本生成任务。其主要优点是能够通过少量样本实现高质量的推理，适合需要高效文本生成的场景。

Ferret-UI-Llama8b

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

dolmino-mix-1124

DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集，用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据，旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。

HuatuoGPT-o1-7B

HuatuoGPT-o1-7B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为高级医疗推理设计。该模型在提供最终回答之前，会生成复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-7B支持中英文，能够处理复杂的医疗问题，并以'思考-回答'的格式输出结果，这对于提高医疗决策的透明度和可靠性至关重要。该模型基于Qwen2.5-7B，经过特殊训练以适应医疗领域的需求。

OLMo-2-1124-13B-SFT

OLMo-2-1124-13B-SFT是由Allen AI研究所开发的一个大型语言模型，经过在特定数据集上的监督微调，旨在提高在多种任务上的表现，包括聊天、数学问题解答、文本生成等。该模型基于Transformers库和PyTorch框架，支持英文，拥有Apache 2.0的开源许可证，适用于研究和教育用途。

暂无评论

您必须登录才能参与评论！

立即登录

none

暂无评论...