近幾年掀起的人工智能浪潮本質(zhì)上是智能計(jì)算技術(shù)的突破，智能計(jì)算技術(shù)已成為推動(dòng)社會(huì)進(jìn)步的關(guān)鍵力量。11月22日，由中科云計(jì)算研究院與東莞理工學(xué)院聯(lián)合主辦，世界數(shù)字科學(xué)院傾力協(xié)辦的“智?算國(guó)際學(xué)術(shù)交流會(huì)”在東莞松山湖成功舉辦。中國(guó)工程院院士李國(guó)杰在會(huì)上發(fā)表了《智能計(jì)算技術(shù)的突破與挑戰(zhàn)》視頻演講，引起了業(yè)內(nèi)人士的高度稱贊。媒體對(duì)李國(guó)杰院士進(jìn)行了專訪，深入探討了智能計(jì)算技術(shù)的發(fā)展現(xiàn)狀與未來(lái)前景。

　　智能計(jì)算技術(shù)的歷史性突破 和發(fā)展趨勢(shì)

　　面對(duì)媒體的采訪，李國(guó)杰院士首先從全球范圍內(nèi)的實(shí)際案例，為我們深入且全面地剖析了現(xiàn)代智能計(jì)算技術(shù)所取得的具有重大歷史意義的突破，以及對(duì)其發(fā)展趨勢(shì)的多種判斷，具體表現(xiàn)在以下十個(gè)方面：

　　一是人工智能在應(yīng)用廣度上的突破。人工智能歷經(jīng)70年的發(fā)展，在符號(hào)主義、連接主義和行為主義等研究路線上均取得了重大進(jìn)展。此次人工智能的浪潮中，連接主義一馬當(dāng)先，基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)取得了歷史性的突破，為人工智能的普及應(yīng)用帶來(lái)了新的希望。這一波人工智能的突破具有劃時(shí)代的意義，它將顯著加快人類進(jìn)入智能時(shí)代的進(jìn)程。人工智能不再局限于特定領(lǐng)域的應(yīng)用，而是在各個(gè)領(lǐng)域展現(xiàn)出了強(qiáng)大的潛力。從醫(yī)療保健到金融服務(wù)，從交通運(yùn)輸?shù)浇逃I(lǐng)域，人工智能的應(yīng)用正在改變著人們的生活和工作方式。

　　二是大語(yǔ)言模型(LLM)可能已形成趨同的“世界統(tǒng)計(jì)模型”。OpenAI創(chuàng)始人之一Ilya Sutskever 曾對(duì)某MIT團(tuán)隊(duì)發(fā)表的論文“柏拉圖表征假說(shuō)”給予高度評(píng)價(jià)，該論文指出，神經(jīng)網(wǎng)絡(luò)在不同數(shù)據(jù)和模態(tài)上以不同目標(biāo)進(jìn)行訓(xùn)練，正趨向于在其表示空間中形成一個(gè)共享現(xiàn)實(shí)世界的統(tǒng)計(jì)模型。MIT另一團(tuán)隊(duì)的最新研究成果進(jìn)一步顯示，大模型中已形成一種類似人類大腦的“腦葉”結(jié)構(gòu)和“語(yǔ)義晶體”。這一發(fā)現(xiàn)似乎驗(yàn)證了 Hinton 一直堅(jiān)持的“人工神經(jīng)網(wǎng)絡(luò)與人類大腦有某種相似性”的猜想，為人工智能的發(fā)展提供了新的理論支持。

　　三是規(guī)模定律(Scaling law )可能已遇到天花板。2010年代被稱為AI “規(guī)?；钡臅r(shí)代，然而，隨著預(yù)訓(xùn)練大模型性能增長(zhǎng)放緩，機(jī)器學(xué)習(xí)正進(jìn)入一個(gè)“發(fā)現(xiàn)和探索”的新階段。 Ilya Sutskever過(guò)去一直在講“Scaling law”， 最近他承認(rèn)，關(guān)于 Scaling law 的樂(lè)觀判斷可能是錯(cuò)的。如今，訓(xùn)練模型不再是單純地追求“越大越好”，而是要找出Scaling的對(duì)象究竟應(yīng)該是什么。這一轉(zhuǎn)變標(biāo)志著人工智能行業(yè)從追求規(guī)模擴(kuò)張向更加精細(xì)化、實(shí)用化的方向發(fā)展。

　　四是深度學(xué)習(xí)還沒(méi)有撞墻。通過(guò)語(yǔ)言大模型來(lái)實(shí)現(xiàn)通用人工智能(AGI)不一定是最佳途徑，但深度學(xué)習(xí)不等于大模型的預(yù)訓(xùn)練，還在繼續(xù)發(fā)展。為了應(yīng)對(duì) GPT 改進(jìn)放緩的挑戰(zhàn)，業(yè)界正在轉(zhuǎn)向改進(jìn)預(yù)訓(xùn)練后的模型，這可能會(huì)產(chǎn)生不同類型的 Scaling Law。即使預(yù)訓(xùn)練技術(shù)不再有重大突破，人工智能仍然有很大的發(fā)展空間，可以探索新的實(shí)現(xiàn)機(jī)器智能的途徑，也可以在現(xiàn)有基礎(chǔ)上創(chuàng)新個(gè)人消費(fèi)產(chǎn)品和企業(yè)產(chǎn)品。

　　五是以數(shù)據(jù)為中心和以模型為中心都有出路。曾經(jīng)擔(dān)任過(guò)百度公司首席科學(xué)家的吳恩達(dá)認(rèn)為，在過(guò)去十年中，人工智能最大的轉(zhuǎn)變是向深度學(xué)習(xí)轉(zhuǎn)變。而在未來(lái)十年，人工智能將轉(zhuǎn)向以數(shù)據(jù)為中心。他指出，現(xiàn)在更有效的方法是固定神經(jīng)網(wǎng)絡(luò)架構(gòu)，尋找改善數(shù)據(jù)的方法，從“大數(shù)據(jù)”轉(zhuǎn)向“好數(shù)據(jù)”。與之不同的是，圖靈獎(jiǎng)得主楊立昆則認(rèn)為，基于自監(jiān)督的語(yǔ)言模型無(wú)法獲得關(guān)于真實(shí)世界的知識(shí)。我們需要學(xué)習(xí)一個(gè)具備常識(shí)推理與預(yù)測(cè)能力的世界模型，這才是 AI 大模型未來(lái)的理想道路。

　　六是必須從原理上改進(jìn)機(jī)器學(xué)習(xí)算法，才能用廣域分布式計(jì)算做大模型預(yù)訓(xùn)練。大模型的訓(xùn)練對(duì)算力需求最為旺盛。目前，大模型訓(xùn)練通常采用相對(duì)集中的集群系統(tǒng)(一兩千米的園區(qū)以內(nèi))，而非異地分布式計(jì)算。這是因?yàn)橛?xùn)練過(guò)程中需要頻繁地交換模型參數(shù)和梯度信息，實(shí)現(xiàn)反向傳播的延遲通常需要控制在毫秒級(jí)別甚至更低。我國(guó)在西部建設(shè)的智算中心，如果要訓(xùn)練超大規(guī)模的模型，單個(gè)集群的計(jì)算能力要足夠強(qiáng)。如果仍采用反向傳播算法，靠距離遙遠(yuǎn)的多個(gè)小智算中心分布式計(jì)算來(lái)訓(xùn)練大模型，未必是可行的出路。

　　七是人工智能基礎(chǔ)設(shè)施的投入和實(shí)際收入之間，存在巨大差距。在美國(guó)，算力規(guī)模決定企業(yè)勝負(fù)仍是主流理念。微軟、谷歌、Meta、亞馬遜等巨頭都在投入數(shù)百億美元建設(shè)新的數(shù)據(jù)中心，為訓(xùn)練模型提供更大的算力。最近，馬斯克創(chuàng)建的xAI公司僅用122天就建成10萬(wàn)張H100 GPU卡的AI集群，未來(lái)還要構(gòu)建更大規(guī)模的智能超算中心。美國(guó)龍頭企業(yè)堅(jiān)信，誰(shuí)能率先建成全球最大的AI訓(xùn)練系統(tǒng)，誰(shuí)就能掌握市場(chǎng)的主導(dǎo)權(quán)。然而，投資界普遍認(rèn)為，AI的預(yù)期收入和基建投入之間，存在6000億美元缺口。巨大的算力投入是否能帶來(lái)與之匹配的回報(bào)，仍是一個(gè)未知數(shù)。算力不是收入，而是成本，要把算力的投入變成實(shí)實(shí)在在的收入，必須為終端用戶提供真正的價(jià)值。人工智能是惠及各行各業(yè)的智能技術(shù)，長(zhǎng)期而言，智能技術(shù)帶來(lái)的收入增長(zhǎng)肯定遠(yuǎn)遠(yuǎn)超過(guò)6000億美元。目前人工智能處在技術(shù)成熟曲線的期望膨脹期，我們面對(duì)的問(wèn)題是如何度過(guò)未來(lái)的泡沫化谷底期，盡快走向?qū)嵸|(zhì)生產(chǎn)的高峰期。

　　八是AI加速芯片將進(jìn)入多芯片競(jìng)爭(zhēng)的“XPU”時(shí)代。GPU不一定是人工智能的最優(yōu)算力芯片，越來(lái)越多的專用芯片正在不斷涌現(xiàn)。例如，谷歌 TPU(張量處理單元)發(fā)明者之一Jonathan Ross 創(chuàng)立的 Groq公司，推出了ASIC芯片LPU(語(yǔ)言處理器)，其推理性能是英偉達(dá) GPU的10倍，成本僅為其十分之一。美國(guó)新興芯片創(chuàng)業(yè)公司 Etched發(fā)布的首款 ASIC AI芯片 ——Sohu，將 Transformer 架構(gòu)嵌入芯片內(nèi)部，性能是英偉達(dá)B200的10倍。華為昇騰 920 芯片也引發(fā)了業(yè)內(nèi)對(duì)國(guó)產(chǎn)AI加速芯片的期待。Nvidia的GUGPU芯片通用性較強(qiáng)，CUDA生態(tài)對(duì)用戶有一定的吸引力，可能會(huì)在市場(chǎng)上延續(xù)相當(dāng)長(zhǎng)的時(shí)間。但GPU芯片一片難求的局面已在改變。針對(duì)一類AI應(yīng)用的專用芯片也可能成為主流。

　　九是超算和智算正在實(shí)現(xiàn)“歷史性的匯合”。超算和智算之間的界限正變得越來(lái)越模糊，本質(zhì)上它們是同類。超級(jí)計(jì)算和以深度學(xué)習(xí)為代表的智能計(jì)算已逐步融合，CPU在智算中將發(fā)揮越來(lái)越大的作用。一個(gè)案例是中國(guó)科學(xué)院大學(xué)等單位的研究人員聯(lián)合開發(fā)的T-MAC算法，實(shí)現(xiàn)了矩陣乘不要做乘法，只需查表，CPU推理速度超過(guò)AI專用加速器。中科曙光公司牽頭的超算互聯(lián)網(wǎng)今年 4 月上線以來(lái)，已鏈接 280 家服務(wù)商，為上百個(gè)行業(yè) 1000 多個(gè)應(yīng)用場(chǎng)景提供算力服務(wù)。這一舉措為國(guó)家先進(jìn)算力提供了堅(jiān)實(shí)的基礎(chǔ)。

　　十是數(shù)據(jù)工廠將是未來(lái)的大產(chǎn)業(yè)。Scale AI 作為一家人工智能數(shù)據(jù)標(biāo)注企業(yè)，已實(shí)現(xiàn)近10億美元的年度收入。數(shù)據(jù)工廠貌似勞動(dòng)力密集的低端產(chǎn)業(yè)，但數(shù)據(jù)標(biāo)注等服務(wù)是人工智能產(chǎn)業(yè)鏈中不可或缺的環(huán)節(jié)，為人工智能的發(fā)展提供了高質(zhì)量的數(shù)據(jù)支持，大有可為。螞蟻數(shù)科發(fā)布的新一代數(shù)據(jù)標(biāo)注產(chǎn)品，向企業(yè)客戶提供 AI 驅(qū)動(dòng)的全流程數(shù)據(jù)服務(wù)，為人工智能的發(fā)展注入了新的活力。

　　智能計(jì)算技術(shù)的困惑與挑戰(zhàn)

　　隨后，李國(guó)杰院士以其淵博的學(xué)識(shí)和深刻的洞察力，又從多個(gè)重要方面為我們深入且系統(tǒng)地分析了現(xiàn)代智能計(jì)算技術(shù)所面臨的困惑與挑戰(zhàn)。這些困惑與挑戰(zhàn)是橫亙?cè)谥悄苡?jì)算技術(shù)發(fā)展道路上的一道道難關(guān)，亟待我們?nèi)スタ撕屯黄啤＠顕?guó)杰院士的分析為我們清晰地勾勒出了當(dāng)前智能計(jì)算技術(shù)領(lǐng)域的復(fù)雜形勢(shì)，也為相關(guān)領(lǐng)域的研究人員和從業(yè)者提供了寶貴的思考方向和研究路徑。

　　一是人工智能還有很長(zhǎng)的路要走。幾千年來(lái)，人類探索的基本科學(xué)問(wèn)題包括“天問(wèn)”、“物問(wèn)”、“命問(wèn)”和“腦問(wèn)”。其中，關(guān)于人的智慧從何而來(lái)的“腦問(wèn)” 是最難攻克的科學(xué)問(wèn)題。目前，人工智能的基礎(chǔ)理論并沒(méi)有取得根本性的突破，仍處在伽利略時(shí)代。人工智能在工程上取得了巨大成功，但在理論層面上，我們還知之甚少。要真正進(jìn)入智能時(shí)代，還要走很長(zhǎng)的路。

　　二是發(fā)展人工智能需要突破圖靈計(jì)算的局限。圖靈機(jī)存在很多限制，如所有輸入的信息必須是現(xiàn)成的，計(jì)算過(guò)程中與輸入源不能交互，機(jī)器必須按照有限的確定性規(guī)則運(yùn)行等。目前數(shù)字計(jì)算機(jī)的每一步具體操作是按照?qǐng)D靈計(jì)算做的，但機(jī)器學(xué)習(xí)整個(gè)過(guò)程合起來(lái)已經(jīng)不是圖靈計(jì)算。這其中可能隱含著許多深層次的奧妙，需要我們進(jìn)一步探索和研究。揭開大模型的黑盒子可能也要在計(jì)算模型上打開缺口。

　　三是突破還原論的復(fù)雜性極限。智能化科研是一次認(rèn)識(shí)論的革命，它挑戰(zhàn)的是還原論“信仰”。圣塔菲研究所所長(zhǎng)大衛(wèi)?克拉考爾撰文，嘗試從理論層面實(shí)現(xiàn)復(fù)雜性科學(xué)與機(jī)器學(xué)習(xí)的統(tǒng)一。這一挑戰(zhàn)將推動(dòng)我們對(duì)人工智能的認(rèn)識(shí)從簡(jiǎn)單的還原論向更加復(fù)雜的系統(tǒng)論轉(zhuǎn)變，為人工智能的發(fā)展提供新的理論基礎(chǔ)。目前許多學(xué)者懷疑大模型有理解和推理能力，是基于還原論的思維邏輯，突破還原論的框框，可能會(huì)發(fā)現(xiàn)一片新天地。

　　四是要突破大語(yǔ)言模型的本質(zhì)性局限。大語(yǔ)言模型采用類似心理學(xué)研究的描述性推理，靠樣本的統(tǒng)計(jì)相似性猜測(cè)答案，難以保證正確性。這些問(wèn)題是神經(jīng)網(wǎng)絡(luò)模型的“本性” 所決定的，無(wú)法用技術(shù)手段徹底解決。這一局限性提醒我們，在使用大語(yǔ)言模型時(shí)，需要保持謹(jǐn)慎，并結(jié)合人類的判斷和思考，以提高結(jié)果的準(zhǔn)確性和可靠性。

　　五是實(shí)現(xiàn) AI 的統(tǒng)計(jì)優(yōu)勢(shì)與人類的理論驅(qū)動(dòng)的結(jié)合。AI通過(guò)處理海量數(shù)據(jù)，提取模式并基于概率分布進(jìn)行預(yù)測(cè)，本質(zhì)上局限于對(duì)已有知識(shí)的模仿，而非對(duì)新知識(shí)的原創(chuàng)性探索。人類認(rèn)知的本質(zhì)是 “理論驅(qū)動(dòng)”，能夠在數(shù)據(jù)缺乏甚至矛盾的情況下，基于理論、假設(shè)和想象力形成前瞻性的信念，并通過(guò)實(shí)驗(yàn)加以驗(yàn)證。如何實(shí)現(xiàn)AI的統(tǒng)計(jì)優(yōu)勢(shì)與人類的理論能力的結(jié)合，是下一階段智能研究的重要方向。只有在明確AI的局限性并發(fā)揮人類獨(dú)特優(yōu)勢(shì)的基礎(chǔ)上，才能真正邁向智能技術(shù)的黃金時(shí)代。

　　六是不要追求絕對(duì)的無(wú)條件的通用人工智能。人工智能是對(duì)人類智能某一個(gè)方面的再現(xiàn)，在科學(xué)技術(shù)領(lǐng)域，所謂“通用”一定是相對(duì)的，有一定的條件或范圍。大模型追求的AGI是行為表現(xiàn)和解決所有人能解決的問(wèn)題，只是十余種“通用”目標(biāo)的一種 。我們要認(rèn)識(shí)人工智能的局限性，不能盲目追求天下通吃的人工智能，重點(diǎn)還是要根據(jù)實(shí)際需求，在相對(duì)通用的人工智能技術(shù)基礎(chǔ)上落地到各個(gè)行業(yè)，讓一定范圍內(nèi)的人工智能技術(shù)見到實(shí)效。

　　七是低精度計(jì)算可能不是AI計(jì)算的主要優(yōu)勢(shì)。最近的實(shí)驗(yàn)發(fā)現(xiàn)，模型訓(xùn)練和推理時(shí)使用的精度，是影響成本和性能的重要因素。訓(xùn)練所需的 token 越多，所需的精度就越高，這對(duì) GPU 的大規(guī)模應(yīng)用可能會(huì)產(chǎn)生影響。這一發(fā)現(xiàn)提醒我們，在選擇計(jì)算精度時(shí)，需要綜合考慮成本和性能的平衡，以實(shí)現(xiàn)最優(yōu)的計(jì)算效果。

　　智能計(jì)算技術(shù)引領(lǐng)未來(lái)

　　最后，李國(guó)杰院士指出，人工智能技術(shù)是迎接新時(shí)代的顛覆性技術(shù)，我們一定要高度重視，不能因?yàn)閾?dān)心失控而錯(cuò)過(guò)發(fā)展機(jī)遇。另一方面，我們也要認(rèn)識(shí)到人工智能還處在初級(jí)階段，要下深功夫解決基礎(chǔ)的理論問(wèn)題，才能真正進(jìn)入智能時(shí)代。我們要做理智的人工智能促進(jìn)派，不要做觀潮派，更不要做促退派。

　　在當(dāng)前這個(gè)充滿機(jī)遇與挑戰(zhàn)的時(shí)代，智能計(jì)算技術(shù)的發(fā)展既需要我們積極探索創(chuàng)新，又需要我們冷靜思考面臨的困惑與挑戰(zhàn)。我們相信，在眾多科學(xué)家和工程師的共同努力下，智能計(jì)算技術(shù)將不斷取得新的突破，為人類社會(huì)進(jìn)入智能時(shí)代做出更大的貢獻(xiàn)。

　　總之，智能計(jì)算技術(shù)的發(fā)展前景廣闊，但也面臨著諸多挑戰(zhàn)。我們需要在技術(shù)創(chuàng)新、理論研究和應(yīng)用實(shí)踐等方面不斷努力，推動(dòng)智能計(jì)算技術(shù)健康發(fā)展，引領(lǐng)科技邁向智能時(shí)代。

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。