第六百八十五章 走出去(1/5)
话讲到这里,陈学兵前世炒AI学的那点概念,其实已经用得差不多了。不过两位科技部门的领导还提出了一些技术性的疑惑,希望陈学兵能详细解释一下原理。
陈学兵也不是搞技术的,只能跟卢韦冰耳语了一阵,把讲解者的位置让给了卢韦冰。
卢韦冰虽然也不精通技术,但好歹是清华化学系的,专业上比陈学兵理解得更深一些,跟大家讲了讲大数据技术的前沿发展,以及RNN和LSTM。
“RNN(循环神经网络)是美国1982年提出的神经网络雏形,过去26年经过了多次专业论文的修正,有一套理论体系。
“这套体系,就是当今世界人工智能建模这条线上最成形的一套理论,它可以通过记忆单元储存历史序列信息,类似人阅读的时候结合上下文理解内容的逻辑,然后通过一个字一个字的排队,输出一句它认为最有逻辑的句
子。
“LSTM(长短期记忆网络)则是对RNN的一套技术补充,解决了原始RNN处理长句子时,前面的信息会忘掉的问题。”
陈学兵和领导们一起听着卢韦冰解说,陷入了自己的沉思。
奇点最近的研究投入已经开始倾向于VOS那边了。
这套体系的研发,是他定下来的,因为RNN和他理解的谷歌提出的AI核心体系Transformer的输出概念很相似,都是一个从序列到序列,端到端的完整黑箱模型,具备很强的可训练性,模型可解释性也较好,便于大家理
解,全世界的技术员也都可以用,可以深入研究。
他从VOS事业群成立以后就一直在找这样的理论,经过与一套SVM体系对比以后,他决定让VOS对RNN投入研究,并且给它找了一个对口的研发方向————智能语音助手。
奇点的智能语音助手,可以一上来就是网络智能化的,可以接奇点的云端,而不是那种模板化回复。
回复的等待时间可以更长一点,但能回答的问题更全面,让人有探究欲。
他把这个课题丢给VOS研究已经几个月了,直到最近,一些不同的声音传出来:许多人认为RNN这种处理模式不够高效,一个字一个字的输出,第100个字必须等前99个算完才能开始,大多GPU算力会陷入空等,即使再自
动化,也完全跟不上GPU未来的发展。要做语音转文字,文字转语音的输出,应该结合当下一套比较成熟,也比较简单的SVM进行研究。
陈学兵听到这种声音,内心其实是狂喜的,因为VOS终于找到核心问题了。
以后的Transfomer必然是一套比RNN高效得多的机制,否则容纳不下后世这么多GPU算力。
但他也不知道Transfomer具体是什么原理,怎么才能让VOS往这个方向研究。
干等也不行,这套机制是谷歌2017-2018年才提出来的,他可等不了。
只能启发奇点去搞自己的“Transfomer”。
既然问题找到了,他当即把“更高效的智能机制”列为了VOS事业群的一号研究方案,把升级RNN作为主要方向。
——至于SVM,是比较成熟,仅靠少数关键样本决策,几百几千条数据,普通CPU就能跑出好结果,但上限太低了,VOS要临时用一用可以,但不必深挖下去。
他最终要的,不止是智能对话语音,而是一套天花板更高、能理解世界的决策系统。
如果没有这套系统出现,奇点的大模型训练就没必要开始