第七章 Transformer编码器
实验室里的空调嗡嗡地响着，服务器风扇的转速时高时低，像某种呼吸的节奏。黑暗中，他听到自己的心跳，缓慢而稳定。
“周教授，”他低声说，“您觉得呢？”
当然没有人回答。
他睁开眼睛，重新看向屏幕。那首冯小青的诗还在那里，“人间亦有痴于我，不独伤心是小青。”
陆辞渊忽然笑了一下。
“好吧，”他说，“那就让我们一起‘痴’一回。”
他开始修改Ling-1的训练配置。原来的训练目标是标准的语言建模——预测下一个词，最大化训练数据的似然概率。现在他需要在基础上增加一个新的目标：让模型学会“心动”。
怎么做？他想了很久，最终设计了一个多任务学习的框架：
任务一：语言建模。和原来一样，让模型学会写通顺的、符合语法和风格的诗歌。
任务二：情感理解。给定一首诗，让模型预测它的情感类别（喜、怒、哀、乐、爱、恶、欲）和强度（1-10）。
任务三：心动预测。这是最重要的新增任务——给定一首诗，让模型预测周教授标注的“心动值”。
这三个任务共享底层的Transformer编码器，但在输出层有不同的分支。陆辞渊的想法是：语言建模保证模型的基本能力，情感理解让模型学会识别诗歌中的情感信号，而心动预测则直接“对齐”周教授的审美偏好——让模型学会什么样的诗能让周教授哭。
他把这个设计画在了白板上。三根箭头从底层的“诗心网络”分出，指向三个不同的输出头。他在白板的顶部写了一个名字：“Ling-2——诗心版。”
然后他站在白板前面，抱着胳膊看了很久。
“还不够，”他自言自语，“还缺一个东西。”
他拿起马克笔，在“诗心网络”的下面画了一个小方框，写上：“——记忆模块？”
不对。不是记忆。
他想了想，擦掉，重新写：“——经验模拟器？”
也不对。
他盯着白板，脑海里浮现出一个想法——一个有些疯狂的想法。
如果他想让Ling-1真正“拥有”一颗心，光靠预测心动值是不够的。预测心动值只是让模型学会模仿周教授的审美判断，但模型本身并没有“体验”到任何东西。它就像一个学会了所有标准答案的学生，能告诉你一首诗该得几分，但自己读诗的时候内心毫无波澜。
问题在于：一个没有情感体验的实体，能否真正理解情感？
这个问题在AI伦理领域已经被讨论了无数遍，没有定论。但陆辞渊忽然想到一个不同的角度——也许他不应该纠结于“模型是否有真正的情感”这个哲学问题，而应该关注一个更工程化的问题：如何让模型在“处理”情感信息的时候，产生类似于人类情感反应的“内部状态”？
人类的情绪，从神经科学的角度来看，也是某种信息处理状态。当你感到悲伤的时候，你的大脑中某些区域被激活，某些神经递质的浓度发生变化，你的心率、呼吸、甚至皮肤电导率都会改变。这些变化可以被测量，可以被描述。
那么，一个神经网络在“处理”悲伤文本的时候，它的内部激活模式会发生什么样的变化？那些浮点数的变化，是不是某种意义上的“神经递质浓度变化”？
陆辞渊越想越兴奋。他在白板上飞快地画了起来：
“如果我们把模型的内部状态——每一层的激活值、注意力权重、梯度信息——看作它的‘生理信号’，那么当它处理不同情感文本的时候，这些信号应该呈现出不同的模式。就像人类在看到不同情绪的图片时，fMRI会显示出不同的激活模式一样。”
“那么，我们能不能训练模型，让它在处理‘动人’文本的时候，产生一种特定的、可识别的内部状态模式？就像人类在感到‘心动’的时候，会有特定的生理反应一样？”
他停下来，看着自己画的一团乱麻，忽然意识到一件事——他正在做的事情，已经远远超出了传统的自然语言处理范畴。他正在尝试构建一个“有情感的AI”，不是通过编程实现情感行为，而是通过让模型在训练过程中“习得”一种情感反应模式。
这很疯狂。
但他停不下来了。
接下来的两周，陆辞渊几乎住在了实验室里。他每天睡三到四个小时，吃饭全靠外卖和泡面，***摄入量达到了一个危险的水平。他的工位周围堆满了空咖啡杯、泡面盒子和能量饮料的罐子，看起来像一个微型的垃圾场。
但他不在意。他的全部注意力都在Ling-2上。
他重新设计了模型架构，在原有的Transformer基础上增加了几个新组件：
1. 情感状态向量：一个128维的连续向量，代表模型在每一时刻的“情感状态”。这个向量会随着输入文本的变化而动态更新，类似于人类情绪随情境变化的过程。
2. 心动检测器：一个小的子网络，输入是情感状态向量，输出是一个0到1之间的分数，代表模型当前的“心动程度”。这个检测器被训练来匹配周教授标注的心动值。
3. 情感记忆模块：一个键值存储结构，用于保存模型在处理不同情感文本时的情感状态向量。这样，当模型再次遇到类似的情感刺激时，可以“回忆”起之前的状态，产生更丰富的情感反应。
这个架构非常复杂，训练起来也极其困难。最大的问题是梯度不稳定——情感状态向量的更新依赖于心动检测器的反馈，而心动检测器本身也在训练中，两者之间的交互导致梯度经常爆炸或消失。
陆辞渊花了整整一周的时间调试这个问题。他尝试了各种方法——梯度裁剪、不同的优化器、调整学习率、增加归一化层……每一次调整之后都要重新训练数小时甚至数天，然后看结果，然后发现新的问题，然后继续调整。
这是一个令人沮丧的过程。很多时候，他花了三天训练出来的模型，效果还不如三天前的版本。他的实验日志里充满了这样的记录：
“12月5日，v0.3，loss不降，怀疑情感状态向量维度太低，改256维重试。”
“12月7日，v0.4，梯度爆炸，加梯度裁剪，clip_norm=1.0。”
“12月9日，v0.5，训练稳定了，但心动预测准确率只有0.32，还不如随机。怀疑情感记忆模块的设计有问题。”
“12月11日，v0.6，重新设计了记忆模块的读写机制，改用注意力机制来检索记忆。效果有提升，心动预测准确率到0.47。但还不够。”
“12月13日，v0.7，发现一个问题：模型学会了‘作弊’。它发现输入文本中如果包含某些关键词（比如‘泪’、‘悲’、‘断肠’），就直接给高的心动值，根本不理解上下文。需要增加对抗训练。”
每一个失败都让他更接近崩溃的边缘。但每一个微小的进步——比如准确率从0.32升到0.47——都像是一针肾上腺素，让他继续撑下去。
(https://www.lewenn.com/lw61336/40866196.html)
1秒记住乐文小说网：www.lewenn.com。手机版阅读网址：m.lewenn.com