INTELLECT-1-Instruct

11个月前发布 12 0 0

INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型,从零开始在1万亿个英文文本和代码token上进行训练。该模型支持文本生成,并且具有分布式训练的能力,能够在不可靠的、全球分布的工作者上进行高性能训练。它使用了DiLoCo算法进行训练,并利用自定义的int8 all-reduce内核来减...

收录时间:
2025-06-02
INTELLECT-1-InstructINTELLECT-1-Instruct

INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型,从零开始在1万亿个英文文本和代码token上进行训练。该模型支持文本生成,并且具有分布式训练的能力,能够在不可靠的、全球分布的工作者上进行高性能训练。它使用了DiLoCo算法进行训练,并利用自定义的int8 all-reduce内核来减少通信负载,显著降低了通信开销。这个模型的背景信息显示,它是由30个独立的社区贡献者提供计算支持,并在3个大洲的14个并发节点上进行训练。

数据统计

相关导航

SmolVLM2

SmolVLM2

SmolVLM2 是一种轻量级的视频语言模型,旨在通过分析视频内容生成相关的文本描述或视频亮点。该模型具有高效性、低资源消耗的特点,适合在多种设备上运行,包括移动设备和桌面客户端。其主要优点是能够快速处理视频数据并生成高质量的文本输出,为视频内容创作、视频分析和教育等领域提供了强大的技术支持。该模型由 Hugging Face 团队开发,定位为高效、轻量化的视频处理工具,目前处于实验阶段,用户可以免费试用。
Llama-3.1-Tulu-3-8B-DPO

Llama-3.1-Tulu-3-8B-DPO

Llama-3.1-Tulu-3-8B-DPO是Tülu3模型家族中的一员,专注于指令遵循,提供完全开源的数据、代码和配方,旨在作为现代后训练技术的全面指南。该模型专为聊天以外的多样化任务设计,如MATH、GSM8K和IFEval,以达到最先进的性能。模型主要优点包括开源数据和代码、支持多种任务、以及优秀的性能。产品背景信息显示,该模型由Allen AI研究所开发,遵循Llama 3.1社区许可协议,适用于研究和教育用途。
Llama-Lynx-70b-4bit-Quantized

Llama-Lynx-70b-4bit-Quantized

Llama-Lynx-70b-4bit-Quantized是由PatronusAI开发的一个大型文本生成模型,具有70亿参数,并且经过4位量化处理,以优化模型大小和推理速度。该模型基于Hugging Face的Transformers库构建,支持多种语言,特别是在对话生成和文本生成领域表现出色。它的重要性在于能够在保持较高性能的同时减少模型的存储和计算需求,使得在资源受限的环境中也能部署强大的AI模型。
Aquila-VL-2B-llava-qwen

Aquila-VL-2B-llava-qwen

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型(VLM),选用Qwen2.5-1.5B-instruct模型作为语言模型(LLM),并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练,包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源,旨在推动多模态性能的发展,特别是在图像和文本的结合处理方面。
olmOCR-7B-0225-preview

olmOCR-7B-0225-preview

olmOCR-7B-0225-preview 是由 Allen Institute for AI 开发的先进文档识别模型,旨在通过高效的图像处理和文本生成技术,将文档图像快速转换为可编辑的纯文本。该模型基于 Qwen2-VL-7B-Instruct 微调,结合了强大的视觉和语言处理能力,适用于大规模文档处理任务。其主要优点包括高效处理能力、高精度文本识别以及灵活的提示生成方式。该模型适用于研究和教育用途,遵循 Apache 2.0 许可证,强调负责任的使用。
OLMo-2-1124-7B-RM

OLMo-2-1124-7B-RM

OLMo-2-1124-7B-RM是由Hugging Face和Allen AI共同开发的一个大型语言模型,专注于文本生成和分类任务。该模型基于7B参数的规模构建,旨在处理多样化的语言任务,包括聊天、数学问题解答、文本分类等。它是基于Tülu 3数据集和偏好数据集训练的奖励模型,用于初始化RLVR训练中的价值模型。OLMo系列模型的发布,旨在推动语言模型的科学研究,通过开放代码、检查点、日志和相关的训练细节,促进了模型的透明度和可访问性。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...