在與新必應（New Bing，集成了大語言模型GPT-4能力的搜索引擎）“深聊”之后，中國科學院計算技術研究所副所長、研究員包云崗發現了一點“規律”：對于一些需要精準答案的場景，GPT-4開始變得不可靠。

“與New Bing討論一些社會人文話題，它回答得頭頭是道；讓它列一個信息技術發展報告大綱，看起來很有層次；讓它望文作圖、再賦詩一首，表現也還不錯。直到開始討論一道數學題，它似乎有‘情緒’了——試了兩次都沒答對，最終它不想再繼續對話。”包云崗說道。

他不灰心，繼續第三次嘗試，但New Bing仍然沒有給出正確答案。

“但依然有驚喜——New Bing的三次回答，使用了三種不同的思路，這說明它背后的GPT-4所采用基于人工反饋的強化學習（RLHF）確實在發揮作用。”包云崗說。

包云崗 受訪者供圖  ?

AI模型的挑戰：“污點知識”難清理

包云崗觀察到，雖然GPT-4存在不錯的推導能力，但是它的知識體系中存在一定比例的“污點知識”（低級錯誤或謬誤等知識），在這些“污點知識”干擾下，GPT-4的每一次嘗試都無法完成正確的推導過程。

比如，在他讓New Bing解答一道數學題時，后者連續掉到兩個低級錯誤的“坑”里，以至于得不出正確答案。

他不無擔憂地談到，也許這些“污點知識”在整個GPT-4大模型中的比例不高，甚至這些“污點”對于一些應用場景（比如生成一個團建活動方案或一個報告提綱等）也并不重要，但是對于一些需要精準答案的場景，“確實不可接受”。

并且，他提到，從基于人工反饋的強化學習機制的角度來看，這種“污點知識”的引入卻很容易，甚至可以被刻意注入，但清除起來卻是非常耗時耗力。

“除非再引入某種機制能針對每一次人工反饋進行甄別，但這種機制又將會依賴可信的基準數據（ground truth），那可信的基準數據又從哪里來？是否需要人工進行校審？”包云崗說，如此將會帶來一系列問題。因此，他認為，如何清理ChatGPT系列大模型中現有的“污點知識”，將會是未來所面臨的挑戰之一。

ChatGPT有未公布的“黑科技”？

ChatGPT發布后，多家企業和機構都想快速復制一個ChatGPT出來，包括谷歌的Bard以及國內的幾個大模型，但在效果上都還有明顯的差距。因此，很多人認為ChatGPT的“出品方”OpenAI一定掌握了某種“黑科技”沒有對外公布。

包云崗不這么看，他認為ChatGPT的震撼效果來自于大量“點技術”的積累，而不是得益于某種“黑科技”。

“我在中國科學院大學教本科生操作系統，在課堂上我一直強調要用系統思維去審視世界。因此，在我眼中，ChatGPT是一種龐大的系統。”包云崗說，“系統=模塊+流程”，ChatGPT系統內部一定有很多個模塊構成，這些模塊之間存在復雜的連接關系、交互流程，從而構成一個網絡。而根據“梅特卡夫定律”——當一個網絡內的節點數越多，那么整個網絡的價值也就越大。因此，通過不斷積累，讓一個系統集成越來越多的點技術，那么該系統的價值就會越來越大。

梅特卡夫定律以計算機網絡先驅、新晉2022年度圖靈獎得主羅伯特·梅特卡夫的姓氏命名，是一個關于網絡的價值和網絡技術的發展的定律，其最初描述是“一個網絡的價值等于該網絡內的節點數的平方，而且該網絡的價值與聯網的用戶數的平方成正比”。總之，一個網絡的用戶數目越多，那么整個網絡的價值也就越大。一個復雜系統也是由成百上千個緊密耦合、相互關聯的點技術構成一個技術網絡。因此根據梅特卡夫定律，系統價值或壁壘將會隨著集成的點技術數量增加而不斷提高。

“當然，網絡越復雜，集成的難度也就越大。但是，一旦通過技術攻關成功實現新算法或新功能的集成，構成一個更大的技術網絡，那么壁壘也就更高。”包云崗說，因此，從系統角度來看，ChatGPT的壁壘就是通過積累大量點技術而形成的。

這一看法與OpenAI聯合創始人Sam Altman的表述一致。Sam Altman在一次節目訪談中提到：“GPT-4是靠發現大量的小創新、再把它們相乘（finding a lot of small wins and multiply them together），從外界看，好像是我們做了一件事實現了從GPT-3、GPT-3.5到GPT-4，但其實這是幾百件復雜的事情（相乘）。”

包云崗說，基于這樣的共識，或許大家可以對國內的大模型“多一份信心和期望”：“以百度文心一言為例，我們不期望它一下子就能趕上GPT-4，但只要百度能扎扎實實地持續迭代優化，不斷去解決數百個甚至數千個問題，那么相信它的效果就會越來越好。”

中國為何未研制出ChatGPT？

引申到“ChatGPT為何沒能誕生在中國”的話題，包云崗認為沒必要太過糾結：“斯坦福大學、麻省理工學院等知名大學、谷歌等科技巨頭也沒能研制出 ChatGPT。”究其根源，背后原因很多——比如需要有遠見的領導者、優秀的技術團隊、雄厚的資金等等。除此之外，OpenAI的機制創新也在其中起著關鍵作用。

“基于人工智能生成內容（AIGC）的通用人工智能是一個充滿無限想象的目標，但反過來也是一個不知道何時能實現的目標。一個理性的大廠或者初創企業，幾乎不會以這樣的目標作為公司使命，但很適合非盈利機構（NPO）。”包云崗說，OpenAI開始以NPO 的方式成立，致力于AI技術研究和協作，推動AI技術造福人類，因此OpenAI能創造出ChatGPT并不偶然。

一般而言，NPO會通過接受捐贈方式獲得資金來源，比如OpenAI最初就獲得了埃隆·馬斯克1億美元的捐助。然而，捐贈模式很難維持需要大量資金的研發運行，“自我造血能力”始終是NPO模式要面臨的難題。包云崗說，他們在成立和運行北京開源芯片研究院的過程中就遇到這個問題，他也在思考如何破題。

OpenAI是如何破局的？在“燒”完前期捐資后，OpenAI提出了一種創新機制——在傳統NPO模式基礎上增設一種有限盈利模式。這種新模式跟傳統捐贈最大的區別在于，捐贈完全讓渡了所有權益，而通過有限盈利模式的投入可以轉變為股權，具有保值和增值特點。因此，“NPO模式+有限盈利模式”一定程度上解決了上述矛盾，通過NPO模式維護其長期主義目標，通過有限盈利模式保障長期運行經費。

“當然，這種模式也有人并不認可，比如馬斯克認為這種模式破壞了NPO模式的初衷。但如果沒有這種機制上的突破，也許OpenAI早就已經倒閉，也更不用說ChatGPT的誕生。”包云崗說。