摘要：我在面试候选人和参加业内研讨会时，常常发现很多人有大量实战经验，但对模型的基本原理知之甚少。为了帮助大家更好地理解本书，也为了方便部分有面试需求的朋友更有针对性地阅读本书，围绕本书各章主题，我系统梳理了大模型领域常见的面试题，其中的大多数问题可以在书中直接找到
最近大模型面试题60问，根据自己的理解给了相应的一个答案，供大家参考。
我在面试候选人和参加业内研讨会时，常常发现很多人有大量实战经验，但对模型的基本原理知之甚少。为了帮助大家更好地理解本书，也为了方便部分有面试需求的朋友更有针对性地阅读本书，围绕本书各章主题，我系统梳理了大模型领域常见的面试题，其中的大多数问题可以在书中直接找到答案，部分进阶问题可以从本书的参考文献或网络上的最新论文中找到答案。希望所有的朋友都能够带着这些问题阅读本书。
部分答案引用了大语言模型进行了辅助回答，笔者进行了新筛选与矫正。
Q1： 仅编码器（BERT类）、仅解码器（GPT类）和完整的编码器-解码器架构各有什么优缺点？
Q2： 自注意力机制如何使大模型能够捕捉长距离依赖关系，它跟RNN有什么区别？
自注意力机制允许序列中每个位置直接与所有其他位置交互，通过计算Query和Key的相似度，对全局信息进行加权聚合。因此，无论依赖关系有多远，都能在一次计算中捕捉到。
相比之下，RNN是一步步传递信息，远距离依赖需要多步传播，容易造成梯度消失，也限制了模型对长依赖的建模能力。
此外，自注意力机制支持并行计算，而RNN必须串行执行，训练效率也低很多。
Q3： 大模型为什么有上下文长度的概念？为什么它是指输入和输出的总长度？
Transformer模型在处理文本时，会把输入token编码成一个固定长度的序列，并通过位置编码保留顺序信息。
模型的注意力机制是全局的，每个token都会与序列中其他token进行交互，其计算复杂度是O（n^2），这在显存或内存上有较高开销，因此在训练阶段我们就需要设定一个最大的上下文长度，比如2048或4096个token。
而这个“上下文长度”指的是当前模型可感知的全部token的数量，也就是“输入token + 已生成token”的总和。
原因是像GPT类模型是自回归的，每生成一个新token，都需要重新读取整个已有上下文作为输入。所以如果总长度超过了模型的最大支持范围，就必须截断或者做缓存处理。
.....
来源：寂寞的咖啡