“第一个真正实用的人工智能”搜索引擎WolframAlpha发明人
斯蒂芬·沃尔弗拉姆的ChatGPT诚意之作
◎ 编辑推荐
OpenAI CEO、ChatGPT之父Sam Altman强烈推荐
首部揭秘ChatGPT内部原理的权威之作
科学和技术领域重要的革新者
“第一个真正实用的人工智能”搜索引擎WolframAlpha发明人斯蒂芬·沃尔弗拉姆的ChatGPT诚意之作
•国内首部由世界顶级AI学者、科学和技术领域重要的革新者、“第一个真正实用的人工智能”搜索引擎WolframAlpha发明人斯蒂芬·沃尔弗拉姆的ChatGPT诚意之作
•当今活着的最聪明的人之一、比肩康德,最硬核的思考者,对ChatGPT最本质的原理(神经网络)的解构
•OpenAI CEO,ChatGPT之父山姆·阿尔特曼、世界顶级的AI学者,机器人界的巨擘,MIT教授,多家知名机器人公司创始人,美国工程院院士罗德尼·布鲁克斯、量子位联合创始人,总编辑李根、科学作家,“得到”APP《精英日课》专栏作者万维钢联袂推荐
◎ 名人推荐
这是我见过的对ChatGPT原理最佳的解释。
——Sam Altman,OpenAI CEO,ChatGPT之父
读过这本书之后,我认为它堪称精湛之作。大语言模型擅长给出听起来像是答案的答案,但这与真正的答案不同。
——Rodney Brooks,世界顶级AI学者,机器人界的巨擘,MIT教授,美国工程院院士
从原理上知道ChatGPT和大语言模型的“能”与“不能”,才能准确把握这波科技浪潮的红利和机遇。而Stephen Wolfram无疑是既权威专业,又懂得把技术原理生动表达出来的那一个。连OpenAI CEO都赞不绝口。
——李根,量子位联合创始人,总编辑
Wolfram是当今活着的最聪明的几个人之一,也是最硬核的思考者之一,因为他解读世界的视角是数学和物理学的。他关于计算不可约性的思想,给此后无论如何发展的世界中的AI和人类的角色设定了互不毁灭的定律。Wolfram的历史地位将有可能比肩康德。这本书拨云见日,讲出了ChatGPT最底层的原理以及谜团。没有人真正理解为什么语言模型这么厉害,但这本书能告诉你它们的底线在哪里。
——万维钢,科学作家,“得到”App《精英日课》专栏作者
ChatGPT的推出预示着通用人工智能(AGI)时代的帘幕揭开,其强大能力将对许多行业的产品形态产生深远的影响,因此对它进行深入了解变得非常必要。这本书从第一性原理出发,通俗易懂地介绍了与ChatGPT相关的技术原理,且有作者独到的见解。相信读者在阅读这本书之后,能对ChatGPT有更深刻的认识。
——张俊林,新浪微博新技术研发负责人
◎ 内容简介
ChatGPT是OpenAI开发的人工智能聊天机器人程序,于2022年11月推出,能够自动生成一些表面上看起来像人类写出的文字的东西,是一件很厉害且出乎大家意料的事。那么,它是如何做到的呢?又是为何能做到的呢?本书会大致介绍ChatGPT的内部机理,然后探讨一下为什么它能很好地生成我们认为是有意义的文本。
本书适合想了解ChatGPT的所有人阅读。
......(更多)
斯蒂芬·沃尔弗拉姆(Stephen Wolfram)
计算机科学、数学和理论物理学家,当今科学和技术领域重要的革新者之一。他创造了在全世界备受推崇的软件系统——Mathematica、Wolfram|Alpha和Wolfram语言。35年来,他一直担任科技公司Wolfram Research的首席执行官,并负责基础科学领域的一系列突破性进展,包括最近的Wolfram物理项目(Physics Project)。著有畅销书《一种新科学》《这就是ChatGPT》《计算探索者之旅》《创想者》等。
伊利诺斯大学物理学、数学和计算机科学教授。“科学天才”15岁发表首篇粒子物理方面的学术论文;19岁,到加州理工学院研究基本粒子物理学,一年内获得理论物理学博士学位。随后他和费曼一起研究起元胞自动机。
软件工程师、企业老板,他创办的Wolfram Research软件公司,研发出当今世界四大数学软件之一Mathematica。Mathematica的发布标志着现代科技计算的开始,它是世界上通用计算系统中最强大的系统。沃尔夫勒姆本人也因为这个发明被认为是“人类的伟大赞助者”,并跨入千万富翁的行列。
1981年,沃尔弗拉姆被授予麦克阿瑟“天才人物”奖,并成为该奖有史以来最年轻的获得者。
2009年5月,沃尔弗拉姆发布了一个搜索引擎WolframAlpha。“第一个真正实用的人工智能”。可以给出针对问题的有效答案,所以,WolframAlpha问世不久后便被称为“谷歌杀手”。他跟乔布斯也是好友,比如苹果手机助手Siri,背后的知识库,其实就是Wolfram|Alpha支持的。
他的大部头著作,1197页的《一种新科学》(A New Kind of Science)在2002年出版的时候登上了亚马逊的榜首,畅销无比。
......(更多)
第一篇
ChatGPT 在做什么?它为何能做到这些? / 1
它只是一次添加一个词 / 3
概率从何而来 / 10
什么是模型 / 16
类人任务(human-like task)的模型 / 19
神经网络 / 22
机器学习和神经网络的训练 / 35
神经网络训练的实践和学问 / 42
“足够大的神经网络当然无所不能!” / 51
“嵌入”的概念 / 56
ChatGPT 的内部原理 / 64
ChatGPT 的训练 / 75
在基础训练之外 / 79
真正让ChatGPT 发挥作用的是什么 / 82
意义空间和语义运动定律 / 89
语义语法和计算语言的力量 / 96
那么,ChatGPT 到底在做什么?它为什么能做到这些? / 102
致谢 / 105
第二篇
利用Wolfram|Alpha 为ChatGPT 赋予计算知识超能力 / 107
ChatGPT 和Wolfram|Alpha / 109
一个简单的例子 / 111
再举几个例子 / 115
前方的路 / 129
相关资源 / 134
......(更多)
从来没有“无模型的元模型”,所有模型都有特定的基本结构,以及用于拟合数据的一定量的“旋钮”(也就是“参数”)。
当ChatGPT做一些事情,比如写一篇文章时,他只是一遍又一遍的询问:“根据目前的文本下一个词应该是什么”并且每次都添加一个词。 它在每一步都会得到一个带概率的词列表,如果我们总是选择排民最高的词,会得到一份“平庸”的文章,毫无“创造力”,但有时随机选择低概率的词,会显得“更有趣”。
......(更多)