Activities
【導(dǎo)讀】8月20-22日，由中國自動化學(xué)會主辦的2024中國自動化與人工智能教育大會暨2023-2024學(xué)年全國青少年勞動技能與智能設(shè)計(jì)大賽全國決賽在北京召開。會議特別邀請了科大訊飛股份有限公司副總裁、研究院院長劉聰作了題為“訊飛星火大模型最新進(jìn)展及其在教育領(lǐng)域典型應(yīng)用”的報(bào)告。劉聰院長認(rèn)為大模型的“智能涌現(xiàn)”推動了AI技術(shù)階躍，也引發(fā)了國內(nèi)外大模型發(fā)展浪潮，但通用大模型的發(fā)展仍面臨諸多技術(shù)挑戰(zhàn)，例如大模型的可信可解釋問題、端到端等新框架推廣性問題、大模型個(gè)性化“最后一公里”問題、支撐大模型的算力集群建設(shè)問題等。同時(shí)，劉聰院長也分享了訊飛星火大模型在教育領(lǐng)域的最新應(yīng)用情況。
在過去的一年多時(shí)間里，全球科技發(fā)展節(jié)奏異常迅速，尤其是以OpenAI為代表的大模型的崛起，推動了新一輪的人工智能浪潮。許多專家指出，這次技術(shù)進(jìn)步對未來經(jīng)濟(jì)和科技發(fā)展的影響深遠(yuǎn)。通用人工智能被認(rèn)為是未來最重要的發(fā)展方向之一，預(yù)計(jì)在未來超過80%的企業(yè)將會應(yīng)用此類技術(shù)，而目前這一比例還很少，且主要集中在美國。此外，半導(dǎo)體、物理和生命科學(xué)等領(lǐng)域也將受到大模型的深刻影響。
教育是人工智能特別是大模型應(yīng)用的一個(gè)重要領(lǐng)域。白宮已要求支持人工智能工具在教育中的部署，聯(lián)合國教科文組織也發(fā)布了關(guān)于生成式人工智能的相關(guān)教育和研究指南。今年3月，我國教育部提出推動大模型從課堂走向應(yīng)用，以人工智能賦能教育。我國對此高度重視，從去年4月的中央政治局會議到12月的中央經(jīng)濟(jì)工作會議，都強(qiáng)調(diào)了將通用人工智能應(yīng)用到各類場景的重要性。今年3月的兩會上，“人工智能+”行動正式寫入政府報(bào)告。習(xí)近平總書記在今年6月的兩院院士大會上再次強(qiáng)調(diào)，人工智能、量子技術(shù)和基礎(chǔ)生物學(xué)等前沿技術(shù)需要集中涌現(xiàn)，推動鏈?zhǔn)阶兏铩?/span>
一、大模型的發(fā)展
過去一年半，無論在國內(nèi)還是國際上，科技競爭都異常激烈。國際上，OpenAI從發(fā)布GPT-3.5到GPT-4/4 Turbo及其多個(gè)版本，發(fā)展迅猛。谷歌整合了其強(qiáng)大的研究機(jī)構(gòu)Brad和DeepMind，推出了Gemini模型。Meta則采取了開源策略，開發(fā)了Llama模型，對我國大模型的發(fā)展也產(chǎn)生了積極影響。
認(rèn)知智能大模型的崛起主要得益于幾方面因素。首先，這些模型依然基于深度學(xué)習(xí)框架，盡管框架未發(fā)生根本變化，但此次以ChatGPT為代表的大模型結(jié)合了transformer、強(qiáng)化學(xué)習(xí)等新技術(shù)，并通過大規(guī)模數(shù)據(jù)應(yīng)用，如今通用模型也能實(shí)現(xiàn)以前只能由專門模型完成的任務(wù)。這些模型通過不斷的用戶反饋進(jìn)行迭代，產(chǎn)品設(shè)計(jì)愈加完善。其次，盡管在大模型基礎(chǔ)上延展出現(xiàn)了多模態(tài)能力，但語言依然是核心。語言智能是人類智慧的重要部分，人類簡史表明，約7萬年前的認(rèn)知革命以及語言的誕生，使得人類文明得以迅速擴(kuò)展并主宰世界。在教育領(lǐng)域，從中小學(xué)到大學(xué)，學(xué)習(xí)載體仍然主要以語言為核心，這使得語言智能在認(rèn)知模型中的地位尤為突出。
在近期的人工智能發(fā)展中，特別是OpenAI在GPT-3.5之后推出的GPT-4、GPT-4V等模型在處理行業(yè)復(fù)雜任務(wù)和多模態(tài)數(shù)據(jù)方面展現(xiàn)了更高的能力。以GPT-4V為例，該模型在復(fù)雜場景視覺推理能力的表現(xiàn)非常出色，例如在導(dǎo)航中能夠結(jié)合圖像和文字信息，分析并推薦最短路徑。同時(shí)，GPT-4V還在更具挑戰(zhàn)性的任務(wù)中表現(xiàn)出色，例如解決復(fù)雜的數(shù)學(xué)題，不僅需要理解題目本身，還要結(jié)合圖像內(nèi)容，并利用代碼解釋器工具完成解題。此外，GPT-4V在生成圖像的強(qiáng)語義一致性方面也表現(xiàn)優(yōu)異，能夠根據(jù)簡單的提示，如“咖啡店門口的廣告牌”，精準(zhǔn)識別并生成相應(yīng)的圖像和文字內(nèi)容。
Sora模型進(jìn)一步推進(jìn)了對世界模型和物理規(guī)律的模擬與生成。其進(jìn)展不僅在于算法的創(chuàng)新，也離不開視頻訓(xùn)練標(biāo)注了高質(zhì)量的數(shù)據(jù)和強(qiáng)大算力的支撐。目前，國內(nèi)已有多家企業(yè)在視頻生成方面取得了顯著進(jìn)展，生產(chǎn)出高質(zhì)量的視頻效果。
在此之后，5月14日發(fā)布的GPT-4o模型吸引了廣泛關(guān)注。該模型首次實(shí)現(xiàn)了真正的端到端交互體驗(yàn)，在語音和多模態(tài)交互方面具有顛覆性創(chuàng)新。其響應(yīng)速度極快，能夠在交互過程中隨時(shí)進(jìn)行打斷，支持多模態(tài)理解，并表現(xiàn)出情感感知和表達(dá)能力。盡管情感表達(dá)本身并非全新概念，但OpenAI在GPT-4o的開發(fā)過程中進(jìn)行了系統(tǒng)性工程優(yōu)化，使其具備了更加成熟的交互能力。
二、大模型遇到的挑戰(zhàn)
在過去一年多的時(shí)間里，人工智能領(lǐng)域的挑戰(zhàn)不斷演變。雖然當(dāng)前的大型語言模型在許多方面已經(jīng)取得了顯著進(jìn)展，但未來仍有許多問題值得關(guān)注，我也將在這些領(lǐng)域展開進(jìn)一步研究。其中，模型的可信性與可解釋性是一個(gè)關(guān)鍵問題。盡管模型在發(fā)布以來，通過底座模型的改進(jìn)、基于搜索和插件的增強(qiáng)，幻覺問題有所緩解，但在醫(yī)療和金融等對生成結(jié)果可靠性要求極高的領(lǐng)域，仍然面臨巨大的挑戰(zhàn)。
其次是端到端等新框架推廣性問題?？蚣芎退惴ǖ牟粩嘌葸M(jìn)，確實(shí)在技術(shù)指標(biāo)和用戶體驗(yàn)上帶來了顯著提升。然而，在實(shí)際應(yīng)用中，我們發(fā)現(xiàn)仍存在諸多困難，如多模態(tài)數(shù)據(jù)的獲取與對齊、數(shù)據(jù)模式的轉(zhuǎn)變，以及整個(gè)過程中可定制化和可解釋性的挑戰(zhàn)。這些問題都是未來需要深入研究和解決的。
從應(yīng)用角度來看，大模型個(gè)性化“最后一公里”問題也非常關(guān)鍵。在初次接觸OpenAI及國內(nèi)大模型時(shí)，用戶可能會對其輸出感到驚艷，但隨著使用的深入，模型生成的內(nèi)容可能顯得平淡，因?yàn)樗茨艹浞址从秤脩舻膫€(gè)性化需求。盡管包括OpenAI在內(nèi)的企業(yè)都在努力改進(jìn)模型的記憶和個(gè)性化功能，但從產(chǎn)業(yè)角度來看，這仍是一個(gè)技術(shù)實(shí)現(xiàn)上的巨大挑戰(zhàn)。
除了上述算法和技術(shù)挑戰(zhàn)外，支持大模型所需的算力集群也是一個(gè)重要的工程化難題。為了探索Scaling Law，需要規(guī)模龐大的計(jì)算集群，但在國產(chǎn)算力與英偉達(dá)生態(tài)存在差距的情況下，如何在國產(chǎn)框架下實(shí)現(xiàn)有效支持，仍然面臨著巨大的挑戰(zhàn)。這不僅僅是一個(gè)技術(shù)問題，更是一個(gè)復(fù)雜的系統(tǒng)工程。
GPT仍然基于深度神經(jīng)網(wǎng)絡(luò)框架，雖然沒有跳出新的框架，但該框架成功推動了認(rèn)知智能和多模態(tài)智能的發(fā)展，提升了技術(shù)的門檻。目前，大家都在探索Scaling Law，但其具體的曲線仍在研究中。大模型在純文字世界中表現(xiàn)出色，文本輸入與輸出形成類似函數(shù)的閉環(huán)，不斷學(xué)習(xí)，且訓(xùn)練數(shù)據(jù)量充足。在此基礎(chǔ)上，大模型以認(rèn)知智能為核心，拓展到多模態(tài)和具身智能，結(jié)合實(shí)際場景，帶來了廣泛的應(yīng)用前景。
三、科大訊飛星火大模型
科大訊飛多年來一直致力于人工智能的發(fā)展，積累了豐富的技術(shù)和產(chǎn)業(yè)經(jīng)驗(yàn)。自2022年OpenAI發(fā)布以來，當(dāng)年12月，我們啟動了“1+N”的攻關(guān)計(jì)劃，其中“1”代表技術(shù)底座建設(shè)，“N”則涵蓋了教育和辦公等多個(gè)行業(yè)場景。過去一年多時(shí)間內(nèi)，進(jìn)展迅速，從0到1，圍繞自主算法和國產(chǎn)算力的改進(jìn)，星火大模型持續(xù)迭代了多個(gè)版本，每次發(fā)布會都伴隨底座更新和相關(guān)產(chǎn)品的發(fā)布。最新的V4.0版本，實(shí)現(xiàn)了全面對標(biāo)GPT-4 Turbo，并且在國內(nèi)外中英文12項(xiàng)主流測試集中，星火V4.0實(shí)現(xiàn)了8項(xiàng)超越。
星火大模型的多模態(tài)能力也取得了顯著進(jìn)展。例如，在教育領(lǐng)域，訊飛星火圖文識別大模型能夠識別并分析學(xué)生的作業(yè)，其中包括復(fù)雜的數(shù)學(xué)公式和化學(xué)分子式，類似的技術(shù)還可應(yīng)用于醫(yī)療檢查單和企業(yè)文檔的處理。
在今年高考后，不論是語文作文還是數(shù)學(xué)解題，星火大模型都展現(xiàn)出了強(qiáng)大的能力。例如，在高考作文評分中，模型生成的文章平均能獲得50-53分，這表明模型對題目語義有著深刻的理解，在文本生成上也有著很強(qiáng)的能力。
四、訊飛星火大模型的技術(shù)創(chuàng)新
科大訊飛針對大模型面臨的技術(shù)挑戰(zhàn)，開展了一系列關(guān)鍵工作。
首先，面對大模型可信可解釋問題，訊飛通過算法優(yōu)化和多語言混合協(xié)同過濾等方法，結(jié)合實(shí)際應(yīng)用場景持續(xù)改善。其中，基于評語模型的大模型幻想問題優(yōu)化屬于超級對齊技術(shù)方向的探索：評語模型指出大模型存在的幻覺問題，大模型得到評語模型的評價(jià)后自我完善提升。同時(shí)，評語模型也通過強(qiáng)化訓(xùn)練進(jìn)一步提升發(fā)覺幻覺問題的能力，整個(gè)過程無需人參與標(biāo)注，兩個(gè)模型相互博弈、共同進(jìn)化。除此之外，多語言混合協(xié)同過濾后進(jìn)行精細(xì)數(shù)據(jù)清洗的方法也能獲取高質(zhì)量數(shù)據(jù)。通過多語言句子篇章的全局統(tǒng)一表示，再創(chuàng)建立體化保障機(jī)制，改善大模型的污語料和幻覺問題。
在端到端等新框架推廣性問題上，近期，訊飛官宣發(fā)布星火極速超擬人交互，在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達(dá)、人設(shè)扮演四個(gè)方面實(shí)現(xiàn)突破。這背后便是從此前的級聯(lián)方案，升級為統(tǒng)一神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語音到語音端到端建模，大幅縮短響應(yīng)時(shí)間，做到了真正的“極速”，同時(shí)也提升了交互的擬人度和流暢度。
在個(gè)性化生成方面，科大訊飛給出的答案是打造更懂你的AI助手，結(jié)合通用大模型底座和6月27日率先發(fā)布的“個(gè)人空間”，AI助手能基于用戶畫像進(jìn)行個(gè)性化表達(dá)，基于交互歷史實(shí)現(xiàn)記憶學(xué)習(xí)，基于個(gè)人資料進(jìn)行增強(qiáng)學(xué)習(xí)。在“個(gè)人空間”里，用戶可以上傳自己的工作、學(xué)習(xí)、生活、健康等各類資料，形成每個(gè)人的專屬知識庫，再結(jié)合人設(shè)，讓大模型生成更個(gè)性化內(nèi)容。拓展到專業(yè)領(lǐng)域，訊飛升級了訊飛曉醫(yī)APP，能夠根據(jù)電子病歷、檢查報(bào)告、體檢報(bào)告等用戶個(gè)性化資料，構(gòu)建個(gè)人數(shù)字健康空間，提供了新的個(gè)人及家庭健康管理模式，展現(xiàn)大模型+個(gè)性化+專業(yè)領(lǐng)域的新可能。
在算力集群建設(shè)上，科大訊飛自研平臺實(shí)現(xiàn)大模型訓(xùn)練推理一體化設(shè)計(jì)，陸續(xù)與華為合作發(fā)布了星火一體機(jī)、首個(gè)國產(chǎn)萬卡算力集群“飛星一號”，基于“飛星一號”完成了訊飛星火大模型V3.5、V4.0模型訓(xùn)練，實(shí)現(xiàn)全面對標(biāo)GPT-4 Turbo。目前，“飛星一號”作為國產(chǎn)算力集群代表，整體訓(xùn)練性能已經(jīng)從30%提升到95%，這一數(shù)據(jù)仍在持續(xù)優(yōu)化；“飛星一號”已常態(tài)化支撐訊飛星火大模型訓(xùn)練，平均資源利用率超90%。在復(fù)雜系統(tǒng)工程能力上，訊飛自研出超大集群的智能框架和異構(gòu)調(diào)度系統(tǒng)，保障大模型訓(xùn)練長時(shí)穩(wěn)定運(yùn)行，平均故障間隔對標(biāo)Meta的Llama 3.1訓(xùn)練已達(dá)到相當(dāng)水準(zhǔn)。
五、訊飛星火在教育領(lǐng)域的應(yīng)用
在教育領(lǐng)域，科大訊飛基于多年積累的技術(shù)與場景經(jīng)驗(yàn)，致力于通過人工智能技術(shù)提升教育質(zhì)量，滿足中小學(xué)和高等教育的不同需求。在中小學(xué)基礎(chǔ)教育中，訊飛的重點(diǎn)在于減負(fù)增效，推動“五育并舉”。隨著新教材、新課程、新高考的引入，教師面臨備課與教學(xué)設(shè)計(jì)的巨大壓力。基于星火大模型，訊飛推出星火教師助手，以對話式、生成式的自然交互，為教師智能生成科學(xué)系統(tǒng)的單元教學(xué)規(guī)劃、創(chuàng)新引領(lǐng)的教學(xué)設(shè)計(jì)、貼合情境的教學(xué)課件等內(nèi)容，提高教師備課效率；在家訪、班會設(shè)計(jì)等日常工作和教研場景，星火教師助手也能啟發(fā)靈感，助力教師成長。根據(jù)一線教師應(yīng)用數(shù)據(jù)，星火教師助手實(shí)現(xiàn)教學(xué)設(shè)計(jì)效率提升超56%，課件制作效率提升超64%，好評率高達(dá)93%。此外，訊飛還利用課堂實(shí)錄和分析工具，幫助教師優(yōu)化教學(xué)內(nèi)容，并促進(jìn)學(xué)生高級思維的發(fā)展。
在個(gè)性化學(xué)習(xí)方面，訊飛早已開始探索如何因材施教。基于星火大模型對各類學(xué)習(xí)資源的深度理解能力，目前能夠?qū)崿F(xiàn)跨場景的學(xué)生學(xué)情畫像，并融合其他維度的作答行為數(shù)據(jù)，實(shí)現(xiàn)多維學(xué)情診斷畫像，進(jìn)而給出動態(tài)學(xué)習(xí)路徑的規(guī)劃，并基于階段學(xué)情智能生成共性和個(gè)性的錯(cuò)題、分層題包，同時(shí)提供個(gè)性化學(xué)習(xí)資源，滿足孩子自主學(xué)習(xí)的需求。除了傳統(tǒng)的習(xí)題類資源，大模型的加持讓推薦系統(tǒng)能夠拓展到多模態(tài)資源，幫助孩子提升學(xué)習(xí)效果和效率。在獲得合適的學(xué)習(xí)路徑和資源后，1對1輔導(dǎo)才是最優(yōu)解，要?dú)v經(jīng)思路點(diǎn)撥、分布列式、個(gè)性糾因這幾步。基于星火大模型所全新升級的AI交互式答疑輔學(xué)，在精準(zhǔn)捕捉孩子每一步標(biāo)準(zhǔn)作答動作后，能以啟發(fā)引導(dǎo)的風(fēng)格發(fā)問，讓孩子通過互動探究式的學(xué)習(xí)進(jìn)行自主思考，實(shí)現(xiàn)了1對1的個(gè)性化輔導(dǎo)；應(yīng)用試點(diǎn)分析顯示，這種方式不僅大大提升了學(xué)生主動參與答疑的比例，也顯著提升了學(xué)習(xí)效率。目前，AI 1對1答疑輔導(dǎo)也已經(jīng)上線訊飛AI學(xué)習(xí)機(jī)，讓孩子多了一位AI輔學(xué)老師。
在高等教育方面，訊飛致力于幫助高校構(gòu)建一流學(xué)科課程資源。通過知識圖譜和代碼大模型，訊飛協(xié)助高校教師開發(fā)實(shí)踐性強(qiáng)的課程，并自動化命題和評估學(xué)生提交的作業(yè)。在科研方面，訊飛的科研助手通過文獻(xiàn)調(diào)研、內(nèi)容提煉和輔助寫作等功能，為科研工作者提效；同時(shí)積極與關(guān)高校和科研機(jī)構(gòu)團(tuán)隊(duì)也基于星火大模型開展AI for Science前沿方向的探索。
（本文根據(jù)作者所作報(bào)告速記整理而成）
