书生大模型实战营——L1G1000(书生大模型全链路开源体系)
书生大模型
InternLM 主要由上海人工智能实验室开发。通过不断开源高质量的 LLM 以及用于开发和应用的全栈工具链。
模型:InternLM(多语言基础的聊天模型)、InternLM-Math(双语数学模型)、InternLM-XComposer(视觉语言大模型)
工具链:InternEvo(预训练和微调的轻量级框架)、XTuner(高效微调LLM工具包)、LMDeploy(压缩、部署、提供LLM的工具包)、Lagent(轻量级框架,允许用户高效构建基于LLM的代理)、AgentLego、OpenCompass、OpenAOE。
应用:HuixiangDou:基于 LLM 的领域专属助手,可以处理群聊中复杂的技术问题、MindSearch:一个基于 LLM 的网络搜索引擎多代理框架。
开源数据处理工具箱
MinerU是一站式开源高质量数据提取工具,支持多格式,智能萃取,生成高质量预训练/微调预料。
Label LLM致力于LLM对话标注,为大模型打造高质量标注数据。
Label U轻量级标注工具,自由组合多样工具,无缝兼容多格式数据,支持载入预标注。
预训练 Intern Evo
预训练框架Intern Evo进行了显存优化和分布式训练通信优化。
微调XTuner
适配多种生态:支持多种微调算法,适配多种开源生态,自动优化加速
适配多种操作:训练方案覆盖NVIDA 20系以上所有显卡,最低只需8GB显存即可微调7B模型
OenCompass测评体系
OpenCompass是开源社区最完善的评测体系之一,提供高时效性的高质量评测机,支持高效评测和能力分析,发布权威榜单,助力通用人工智能发展。
部署LMDeploy
支持多种开源模型和国产大模型的部署,提供Python、RESTful、GRPC等推理接口,支持TurboMind和PyTorch推理引擎,以及LayOpenAI服务和Gradial、TreeTone推理服务。
智能体
Legend支持React、ReWoo和AutoGBT三种智能体框架,支持多种大语言模型,可以调用本地Intern LM或GBT。
企业级知识库构建工具HuixiangDou
HuixiangDou支持检索增强生成RAG和知识图谱的可解释行为,已构建1500多个知识库和500多个用户群,具有安全、简单、便宜、扩展性强等特点。
书生·浦语致力于大模型研究与开发工具链的开源组织。为所有 AI 开发者提供高效、易用的开源平台,让最前沿的大模型与算法技术触手可及