2级
拿出多个设计方案互相比较后作选择，并在实操中亲手做出其核心。
报考条件
取得3级证书满一年后可报考。
必修编程语言
从5级到1级，所有等级的共同必修。
Shell Scripting
操作那些构建和运行人工智能的计算机的基础语言。
这个资格证考的是从零开始做出，而这件事是在上完成的。获取数据、运行、搬运结果、把放上，都从开始。不管模型用什么语言写成，运行它、把各部分接起来、让工作自动化的，都是 。所以从5级到1级，每个等级都要求 Shell 脚本。（只是在或应用里使用人工智能，不需要终端；要做出一个，就需要。）
去学 Shell 编程各级通用的同一道题
你要完全从零开始亲手做一个人工智能。请设计出你打算怎么做。
从5级到1级都是这道题。变化的是答案所要求的深度，以及题目附加的限制条件。
学什么
- 做出两个以上方案并互相比较。
- 用数字权衡速度、成本与准确度之间的取舍。
- 在实操中亲手实现设计的核心部分。
如何评分
- 选择的理由是否有数字支撑
- 是否说明了为此放弃了什么
- 做出来的东西是否与设计一致
考试构成
第一场是考场笔试，第二场是面试加实操。两场用的是同一道题。
在指定考场进行，答案要手写在试卷上。考查你能否把设计用文字讲清楚。
先由考官就你的设计进行面试，然后现场真正动手做出。考查纸上的方案能否在手里跑起来。
预测题
正式考试只出上面那一道各级通用的题。下面的 20 道题是预测题，用来检查你在写那份设计之前要先知道的词语、名字和事实。每道题都是只有一个正确答案的简答题：先读说明、写下答案，再展开正确答案对一对。它们不是官方题目。
评估指标
-
1
在模型判为“阳性”的结果中，真正是阳性的比例叫什么？（例如：被当作垃圾邮件拦下来的邮件里，真的是垃圾邮件的比例）
查看答案
正确答案 精确率（Precision）
精确率低的话，很多正常邮件会被丢进垃圾邮件箱。
-
2
在真正是阳性的结果中，被模型找出来判为阳性的比例叫什么？（例如：真正的垃圾邮件里被拦下来的比例）
查看答案
正确答案 召回率（Recall）
召回率低的话，很多垃圾邮件会进入收件箱。精确率和召回率通常此消彼长：提高一个，另一个就会下降。
-
3
取精确率和召回率的调和平均数，把两者合成一个数字来比较的指标叫什么？
查看答案
正确答案 F1 分数（F1 Score）
两者中只要一个高、另一个低，F1 分数也会偏低。
-
4
把实际答案和模型的预测分成真阳性、假阳性、假阴性、真阴性几个格子来计数的表叫什么？
查看答案
正确答案 混淆矩阵（Confusion Matrix）
准确率、精确率、召回率都是数这张表的格子算出来的。
-
5
表示语言模型对下一个词元有多拿不准，数值越低越好的语言模型评估指标叫什么？
查看答案
正确答案 困惑度（Perplexity）
困惑度是10，大致意思是模型在选下一个词元时，好像在大约10个候选之间犹豫。
速度与成本
-
6
从发出问题到收到回应所花的时间叫什么？
查看答案
正确答案 延迟（Latency）
对话式服务尤其看重第一个字出现之前的时间。
-
7
像每秒处理的词元数这样，在一定时间内能完成的工作量叫什么？
查看答案
正确答案 吞吐量（Throughput）
把请求打包一起处理，吞吐量会提高，但单个请求的延迟可能会变长。
-
8
训练一个小模型（学生）去模仿大模型（老师）的输出，在性能相近的情况下缩小模型。这种方法叫什么？
查看答案
正确答案 知识蒸馏（Knowledge Distillation）
小模型运行得更快、更便宜。这是在速度、成本与准确率之间取舍的典型设计。
-
9
语言模型生成文字时，把前面已经算好的注意力键（Key）和值（Value）存起来重复使用，以提高速度。这块存储空间叫什么？
查看答案
正确答案 KV 缓存（KV Cache）
不用每次都重新计算已经出现的词元，所以更快；但文字越长，占用的内存就越多。
-
10
从训练好的模型中剪掉重要性低的权重或连接，让模型变轻。这种方法叫什么？
查看答案
正确答案 剪枝（Pruning）
这个名字来自把树上没用的枝条剪掉。
设计选项
-
11
在多个“专家”子神经网络中，每个输入只挑一部分来计算，这样参数虽多，计算量却能减少。请用英文缩写写出这种结构。
查看答案
正确答案 MoE（Mixture of Experts，混合专家）
参数总量很大，但处理一个词元时只有少数几个专家在工作。
-
12
把原来的权重冻结不动，只额外训练很小的低秩矩阵，这是一种低成本的微调方法。请写出它的名字。
查看答案
正确答案 LoRA（Low-Rank Adaptation）
要训练的参数非常少，所以即使是大模型，也能用很少的内存来微调。
-
13
先用人从两个回答中选出较好那个的资料做出奖励模型，再用这个奖励对语言模型进行强化学习。请用英文缩写写出这种方法。
查看答案
正确答案 RLHF（Reinforcement Learning from Human Feedback）
用来调教对话式语言模型，让它按人想要的方式回答。
-
14
存储嵌入向量，并能快速找出与给定向量相近的向量的数据库叫什么？
查看答案
正确答案 向量数据库（Vector Database）
在 RAG 设计中，用它来找出与问题意思相近的文档。
-
15
用两个向量之间的夹角来衡量方向有多相似，在嵌入向量搜索中常用的相似度叫什么？
查看答案
正确答案 余弦相似度（Cosine Similarity）
方向相同是1，互相垂直是0，方向相反是-1。
实现工具
-
16
在 Python 里提供多维数组和快速数值计算、大多数机器学习库都以它为基础的库叫什么？请写出名字。
查看答案
正确答案 NumPy
它不用循环，而是一次计算整个数组，所以做同样的事比纯 Python 快得多。
-
17
由 Meta 最先开发并公开、支持自动微分的代表性 Python 深度学习框架叫什么？请写出名字。
查看答案
正确答案 PyTorch
现在由 Linux 基金会旗下的 PyTorch 基金会管理。
-
18
不用人去手算函数的梯度（导数），而是沿着计算过程自动求出来的功能叫什么？
查看答案
正确答案 自动微分（Automatic Differentiation，autograd）
它是深度学习框架的核心功能，让你不必亲手编写反向传播。
-
19
作用在层的输出上，把小于0的值变成0、比0大的值保持不变，用得最广的激活函数叫什么？请写出名字。
查看答案
正确答案 ReLU（Rectified Linear Unit）
写成公式就是 max(0, x)。它计算简单，能加快深层神经网络的训练。
-
20
把程序和运行环境（库和设置）打包在一起，让它在任何电脑上都能一样运行的容器工具叫什么？请写出名字。
查看答案
正确答案 Docker
它能避免“在我电脑上明明能运行”的情况。要把实操中做出的东西原样搬过去运行时，就用它。