大模型的高效微调
参数高效微调Prompt-
数据结构-最小生成树的生成
最小生成树的生成定义：把无向图的全部n个顶点和n-1条边构成的生成树，其边的权值最小的树称为该图的最小生成树。 实现方法： prim方法：从任意一个起点开始，以贪心的策略，每次只选择一个距离当前联通部分最小的点加入生成树，直至所有点都被加入该树为止。 kruskal方法：首先把所有的边按权重从小到大排序，然后从权重最小的边开始添加，只要不会形成环就添加这条边，直到所有的点都连接起来。 Prim
大语言模型介绍（一）
大语言模型语言模型的发展历程语言模型旨在对于人类语言的内在规律进行建模，从而准确预测 词序列中未来（或缺失）词或词元（Token）的概率。根据所采用技术方法的不同， 针对语言模型的研究工作可以分为以下四个主要发展阶段： **统计语言模型（SLM)**：统计语言模型使用马尔可夫假设（MarkovAssumption）来建立语言序列的预测模型，通常是根据词序 列中若干个连续的上下文单词来预测下一个词
前馈神经网络
前馈神经网络感知机模型单层感知机输入层：感知层，n个神经节点，无信息处理能力，只负责引入外部信息X。 处理层：m个神经接点，每节点均有信息处理能力，m个节点向外部处理输出信息，构成输出列向量Y。 两层间连接权值用权值列向量$W_j$表示，m个权向量构成单层感知器的权值矩阵W。
预训练模型
预训练模型预训练简介预训练：通过子监督学习从大规模数据里获取与具体任务无关的预训练模型的过程。 预训练任务： 掩码语言模型（编码器）：将一些位置的token替换成特殊的[MASK]字符，预测这些被替换的字符 只计算掩码部分的loss，其余部分不计算loss