七八中文网

手机浏览器扫描二维码访问

第17章 我是谁（第6页）

手写数字存在一定模式，比如数字9可看成一个圈加一个数，数字8是在一个圈下再加一个圈，数字4可看成竖竖横三个部分。

以9为例，当它出现时会点亮下一层认为接近圈和数的神经元，大概有8到10个神经元被点亮，然后进入倒数第二层确认代表圈和数的神经元，最终在输出层得出结果。

但实际上，仅从输入层计算复杂的非线性问题难度很大，于是计算机专家想到了人脑的经验机制。

比如“杯弓蛇影”

，弓的倒影和蛇相似，经验会影响判断，输出端也会反过来影响大脑对事物的认知。

在图像识别中，当机器识别手写数字2时，可能会认为3和6的可能性最高而给出错误结果，这时可通过人工在输出层给出新权重，将2打成最高分，其他数字为0，反向输入后机器就能学会识别类似的手写2，这种训练方法就是反向传播，它是深度学习的核心训练方法之一。

然而，神经网络存在“黑箱”

问题，它由多层神经元组成，大量参数相互作用，决策基于统计规律，人类难以理解其逻辑，也很难解释每一层学习到的含义。

人类大脑约有860亿个神经元，通过约100万亿个神经突触相互沟通协作，其运作原理同样神秘。

2017年，谷歌的八位计算机专家发表了具有跨时代意义的论文《注意力机制是唯一需要的》，提出的transformer模型为后来的大语言模型（如chatGpt）奠定了理论基础。

这篇论文的了不起之处在于提出了自助注意力机制这一数学解决方案，让科学家坚信神经网络能产生类似智能的东西并回答问题。

接下来谈谈计算机回答问题。

语言是一个终极概念，日常对话、手语、计算机编程语言、数学等都是语言。

数学作为一种语言，具有结构、语法、普世性和精确性，大语言模型能从纯数学中模拟语言结构和模式。

概括地说，语言是人类描述世界最简洁有力的工具，而且它远不止是工具，正如维特根斯坦所说“语言的边界就是思想的边界”

，人类无法用语言描述未知事物，所以语言是人类思维的总和，大语言模型掌握了语言总和也就掌握了可描述世界的信息。

大语言模型的工作原理是用统计学方法推测下一个字出现的概率。

以英文句子“whoisthesmartestthinkersofar?”

为例，先将单词分解成最小单位（token），每个token与高维空间中的向量相联系，向量有距离和夹角表示语义和语法的相似性或关系。

如“man”

和“woman”

的距离理论上与“king”

和“queen”

相近，但由于“queen”

在英文中有更多含义，所以“king”

与“queen”

的距离比“man”

和“woman”

更远。

在预测句子中问题的答案时，如“whichprofessorisharrypotter'；sleastfavorite?”

，模型会根据计算得出每个结果的概率值，选择概率最大的作为答案，如计算出“Snape”

的概率为0.78分，就会选择“Snape”

。

对于复杂的侦探小说结尾的问题，如根据全文推测凶手，模型需要捕捉每个词的寓意和上下文关系，通过谷歌论文中的数学公式（涉及查询项目query、键值key和向量value，它们有大量参数，经过计算加权组合），衡量不同章节和段落的线索与角色关系，形成对整篇小说的整体理解。

所以，大语言模型不仅需要复杂数学，还需要强大的算力支持。

在科学家的信念加持下，大语言模型取得了成功，虽然目前还不是真正意义上的人工智能，但人类向创造智能迈出了坚实一步。