信仰是人们内心深处的信念,是推动人类前进的驱动力。AI从几十年前的缓慢探索,到如今的飞速发展,是什么信仰在驱动这一切呢?

摩尔定律

聊起信仰,我就会想起信息时代的摩尔定律。
摩尔定律
是由英特尔联合创始人戈登·摩尔在1965年提出的一个
观察性定律

摩尔定律指出,在大规模集成电路中,可容纳的晶体管数量大约每两年会增加一倍,而计算能力也会随之大幅提升。这一定律贯穿于整个芯片的发展历程。

如果说是真理、公理、定理,那毫无疑问具有很大的说服力。

但是,摩尔定律是一个基于观察和经验的预测规律,为什么全世界都相信它呢?它为什么能引起英特尔、AMD、高通等巨头纷纷投入大量资金、人才去发展芯片呢?

我认为这可能就是
信仰的力量
吧。这些芯片界的领袖,因为相信所以看见,才愿意重仓投入,才会持续推动芯片行业的发展。

一旦基于这样的信仰产生了持续的发展,那就会演变成一种默认的
确定性
。确定性就会持续吸引更多的资金和人才,会产生持续的变革。

规模效应

在回到AI的发展上看,AI的飞速发展源于神经网络的发展,神经网络借鉴了人脑的神经元机制。

人脑的是由百万亿的神经元连接组成的庞大网络,每个神经元都接受输入,然后经过简单计算,最后输出给下一个神经元。但是简单的神经元,被放大到了万亿级别的规模,则会产生更多的智能。

这一点,我们从生物的演化史也能看出来。

早起的地球只有单细胞,然后演化出了多细胞、低等生物、高等生物,再到人类。这个过程中,生物的神经系统也是越来越发达,智能程度也越来越高。

这就是规模效应。

AI时代的信仰

现在流行的大语言模型,是基于神经网络训练而来。早期的神经网络规模不够大,所以还没产生智能。

随着神经网络的参数被放大到一个阈值,模型会产生质的飞越,突然变得聪明,拥有智能,这就是量变引起质量。

这一切的发现都要归功于OpenAI,随后OpenAI还提出了类似摩尔定律这种信仰级别的理念,即规模越大越好。重点是3个:

  • 神经网络的模型参数越多越好
  • 训练数据集的越大越好
  • 算力越强越好

OpenAI自己也是吹起了冲锋号,OpenAI的CEO山姆·奥特曼正在寻求巨额投资,准备建立更多的AI基础设施和超大算力平台。

这就是AI时代的信仰吧,这种信仰推动这一个个AI巨头持续重仓在算力领域、大模型领域。

这一信仰将来应该也会与摩尔定律一样,持续推动科技的高速发展。

总结

每个时代和行业,总得有一些领袖存在信仰,正是这种信仰推动着一个又一个高科技的发展!

AI时代的信仰就是规模效应,无限去追求 模型参数、训练数据集、算力。

本篇完结!欢迎 关注、加V(yclxiao)交流、全网可搜(程序员半支烟)

原文链接:
https://mp.weixin.qq.com/s/AEn0VNXigqwCupKZZHfhzg

标签: none

添加新评论