非连续性随笔

李善友教授说:  创新能力的本质就是发现不连续性。

连续性是人类思维里边一个去除不掉的隐含性的假设。从某种意义而言,就是这种隐含假设会成为思维的墙。

当遭遇不连续性的时候,人类的思维将会遭遇到一个窘境。就是一个很狭义的跨越非连续性曲线的一个创新。

当下人工智能获得突破的关键在于机器算法的深度学习,之前的深度学习受到存储技术与大数据的窘境,尚未发挥出人工智能深度学习的潜力。

又十年之后,第三波人工智能浪潮到来。这一次,人工智能终于集齐了算法、算力、数据三条腿,可以大展身手了。标志性的事件有两个:一是1997年“深蓝”击败国际象棋大师卡斯帕罗夫;二是2016年“阿尔法狗”击败围棋世界冠军李世石。看起来这两件事的性质差不多,但其实标志着人工智能的一次大转型。

“深蓝”代表着上一代人工智能,也就是专家系统。它是按照人类给它输入的规则进行运算和推演,靠强大的计算能力击败对手。而“阿尔法狗”代表新一代人工智能,也就是神经网络和机器学习。它根本不用人类教它怎么下棋,自己随便看看就自成大师了,还能自创人类经验中没有的新棋路。也许,在“阿尔法狗”看来,“深蓝”根本不算真正的人工智能。

这是因为,以深度学习为代表的人工智能需要的算力,和一直以来以冯诺依曼架构为核心的通用计算,有很大的不同。一方面,通用计算的很多能力,比如高精度计算、庞大的操作指令集,对深度学习来说是不必要的。深度学习需要的数据精度比较低、计算比较简单。

但另一方面,深度学习需要处理天文数字的海量数据,一个大模型中包含的参数,就可以多达2000亿个。这意味着,无论多么强大的芯片和机器都不能够单独完成计算任务,它需要用“异构”的方式把多个算力单元叠加在一起。换句话说,未来人工智能算力拼的不是单个芯片的独立性能,而是海量芯片相互之间的通信能力,而这是传统的计算架构不擅长的。这意味着,人工智能的真正崛起,需要从底层去重构“根技术”。

可见,非连续性突破是技术创新的拐点。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章