文心一言(英文名:ERNIE Bot)是百度創(chuàng)造的人工智能大型語言模型。具有跨模式、跨語言的深度語義理解和生成能力，可用于文學創(chuàng)作、商務文案、數(shù)理邏輯計算、數(shù)據(jù)分析、代碼生成等場景。

2023年2月7日，百度正式宣布“文易欣顏”項目。2023年3月16日，文心一言正式發(fā)布，主要功能展示完畢。2023年8月31日，文心一言向全社會全面開放。2023年11月1日，文心一言專業(yè)版正式上線，成為國內(nèi)首個采用會員制模式，面向C端收費的大型型號產(chǎn)品。

自項目正式公布以來，已有多家公司與百度達成合作。在其正式發(fā)布之前，已有600多家公司宣布加入文心一言生態(tài)。到2023年11月21日，文心一言用戶量達到7000萬，覆蓋4300個場景。

早期建設

2009年8月，百度CEO李彥宏提出“框計算”戰(zhàn)略，嘗試將NLP和知識圖譜技術應用于搜索。2010年初，百度重新規(guī)劃NLP，成立自然語言處理部。公司不斷布局語音、圖片等技術領域，制定了知識圖譜技術的長期投資策略。

2012年，百度啟動了深度機器學習的研究工作。2013年1月，百度成立了國內(nèi)首個深度學習實驗室，并推出了自主研發(fā)的深度學習平臺PaddlePaddle的前身。2014年，李彥宏提到了百度的內(nèi)部項目“百度大腦”。這個項目的主要目的是利用計算機、人工智能和深度學習技術來模擬人腦的思維。同年，百度研究院成立，包括深度學習實驗室(IDL)、大數(shù)據(jù)實驗室(BDL)和硅谷人工智能實驗室(SVAIL)。2016年9月1日，百度宣布了百度人工智能的兩大開放平臺:百度深度學習平臺PaddlePaddle和百度大腦開放平臺ai.baidu.com。2017年3月，百度明確將人工智能作為公司發(fā)展戰(zhàn)略，成立了AI技術平臺體系(AIG)。同年，經(jīng)中國國家發(fā)展和改革委員會批準，百度率先建立了中國首個深度學習技術及應用國家工程實驗室。

技術發(fā)展

2019年3月，百度正式發(fā)布了在中文任務上全面超越BERT的NLP模型ERNIE，引起了業(yè)界的廣泛關注和討論。2019年4月23日，百度公布了PaddlePaddle的全景圖和中文名“飛槳”。2019年7月23日，百度發(fā)布了持續(xù)學習的語義理解框架ERNIE 2.0，以及基于該框架的ERNIE 2.0預訓練模型。在這次升級中，厄尼在英語任務上取得了突破，實現(xiàn)了SOTA。2020年7月9日，在2020世界人工智能大會(WAIC)上，ERNIE以中文名“文心”首次亮相，獲得賽爾獎(超級AI領袖)。2021年9月，百度發(fā)布了全球首個擁有百億級參數(shù)的中英對話預訓練生成模型PLATO-XL。2021年12月8日，鵬程實驗室與百度聯(lián)合發(fā)布鵬程-百度文心(模型版本號:ERNIE 3.0 Titan)，全球首個聯(lián)合開發(fā)的千億知識增強模型，參數(shù)規(guī)模達到2600億。

正式發(fā)布

2022年12月底，李彥宏在一次面向百度全體員工的內(nèi)部直播中表示，“AIGC(AI生成內(nèi)容)和ChatGPT都是AI技術發(fā)展到一定程度后的新機遇”。2023年2月7日，百度官方公布了“文顏”項目，顯示是的新版本產(chǎn)品，搭載百度語言大模型技術(LLM)。2023年2月17日，在2023 AI+產(chǎn)業(yè)互聯(lián)網(wǎng)高峰論壇上，百度AI云宣布文心一言將通過百度AI云對外提供服務，首先將應用于內(nèi)容和信息相關的行業(yè)和場景。

2023年3月16日，百度在北京總部召開發(fā)布會，正式宣布啟動百度大語言模型文心一言的邀請測試。通過現(xiàn)場演示，文心一言展示了自己在文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)學計算、中文理解、多模態(tài)生成等方面的能力。從2023年2月7日到2023年3月16日，超過600家企業(yè)宣布加入文心一言生態(tài)。

后續(xù)升級

2023年4月，百度CTO王海峰在做客央視財經(jīng)頻道《中國經(jīng)濟大講堂》時，展示了文心一言的能力和技術，并解釋了他名字的由來:“文”是語言，“信”是用心的理解，“文信”指的是致力于理解和運用語言的自然語言理解模式，也與“文心雕龍”相呼應，意為精雕細琢語言。“一言”不僅有“一言為定，一言為定”的含義，還有對人機順暢溝通的殷切期待。“一字”一出，可以是“二、二、三、一生三字。”

2023年6月17日，文心一言發(fā)布了官方插件百度搜索和聊天文件。2023年6月26日，文心大模型升級至3.5版本，創(chuàng)建、問答、推理、代碼等能力全面升級，安全性顯著提升，訓練和推理速度大幅提升。此外，文新模式增加了插件機制，其默認內(nèi)置的插件百度搜索，使文心一言能夠生成實時、準確的信息；ChatFile，一個長文本摘要和問答插件，支持長文本輸入。2023年8月16日，百度發(fā)布了文心一言的五個原生插件:百度搜索、文檔瀏覽、電子易圖、插畫和繪畫、一面流動的鏡子。文心一言支持一次使用三個插件。

全面開放

2023年8月31日，文心一言向全社會全面開放，用戶可以在文心一言APP和官網(wǎng)使用。此時的文心一言已經(jīng)掌握了200多個創(chuàng)作體裁，內(nèi)容豐富度是發(fā)表初期的1.6倍，思維鏈長度是初期的2.1倍，知識點覆蓋面是初期的8.3倍。到2023年10月，文心一言的用戶量已經(jīng)達到4500萬，開發(fā)者54000人，場景4300個，應用825個，插件500多個。

2023年10月17日，文心大模型4.0發(fā)布，開始邀請測試。與文心大模型3.5相比，文心大模型4.0的四項能力都得到了提升，其中理解和生成能力的提升是差不多的，而邏輯和記憶能力的提升是顯著的，其中邏輯的提升是理解和記憶的近三倍，是后者的兩倍多。

2023年11月1日，基于文心大模型4.0的文心一言專業(yè)版正式上線，并推出會員服務。會員月訂費49.9元，月購費59.9元，成為國內(nèi)首個采用會員制模式，面向C端收費的大型號產(chǎn)品。與基礎版相比，該版本具有更強的建模能力和圖像生成能力；擁有更高級的功能，如語音輸入、自然語言生成、文本摘要、智能回復等。提供更多的定制服務，如個性化推薦、私有化部署等。文心大模3.5對應的文心一言基礎版依然可以免費使用。到2023年11月21日，文心一言用戶量達到7000萬，覆蓋4300個場景。

基于搖櫓深度學習平臺和文心知識增強大規(guī)模模型，文心一言從海量數(shù)據(jù)和大規(guī)模知識中不斷學習，因此具備知識增強、檢索增強和對話增強的技術特性。

數(shù)據(jù)：文心一言模型的訓練數(shù)據(jù)覆蓋了海量的信息資源，包括萬億級的網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、數(shù)百億的語音日常通話數(shù)據(jù)、5500億的事實知識圖譜。基于上述數(shù)據(jù)，文心一言通過融合學習得到預訓練模型。

飛槳：PaddlePaddle是百度開發(fā)的一款全面開源、技術領先、功能齊全的工業(yè)級深度學習平臺。它的中文名字來自朱的兩句詩，“我聽說飛槳，我下到天津”。基于百度多年的深度學習技術研究和業(yè)務應用，整合了深度學習核心框架、基礎模型庫、端到端開發(fā)套件、工具組件和服務平臺。

PaddlePaddle:是基于Python的高性能分布式深度學習平臺，支持動態(tài)圖和靜態(tài)圖兩種編程模式。它提供了豐富的API和工具，如自動混合精度訓練、模型壓縮、量化等。

螺旋槳基本模型庫(PaddleNLP，PaddleCV，PaddleClas等。):這是基于propeller核心框架開發(fā)的一系列高質(zhì)量的預訓練模型和領域方案，涵蓋自然語言處理、計算機視覺、推薦系統(tǒng)、視頻理解等多個領域。，并能幫助用戶快速實現(xiàn)各種AI應用。

用于推進器的端到端開發(fā)套件(PaddleOCR、PaddleDetection、PaddleSeg等。):提供了數(shù)據(jù)處理、模型訓練、模型評估、模型部署等完整流程。它是基于propeller基礎模型庫開發(fā)的一系列端到端AI解決方案，可以幫助用戶快速構建和優(yōu)化自己的AI系統(tǒng)。

PaddleHub、PaddleX、PaddleSlim等。:這是基于槳飛核心框架開發(fā)的一系列工具和組件，提供模型管理、模型轉(zhuǎn)換、模型優(yōu)化、模型服務等功能。，并能幫助用戶提高AI開發(fā)的效率和質(zhì)量。

文心一言

劃槳服務平臺(AI Studio、EasyDL、BML等。):這是一系列基于paddle架構的云服務平臺，包括在線編程、模型訓練、模型推理、模型部署等服務，幫助用戶降低AI開發(fā)的門檻和成本。

文心大模型：文心大模型是百度發(fā)布的全球首個千億級知識增強模型。文心一詞出自中國南朝文學家劉勰的《文心雕龍序》。原意是用雕龍圖案的細致功夫去研究文字的內(nèi)涵和神韻，百度借此表達用心做語義理解的決心。文心一言是文心大模型的應用之一。

模型培訓：文心大模型3.0的語料庫是在文心大模型2.0的基礎上建立的。數(shù)據(jù)來源包括百度搜索(包括百家號、知道、貼吧、體驗)、網(wǎng)文、問答、詩詞楹聯(lián)、百度知識圖譜以及醫(yī)療、法律、金融等特定領域的數(shù)據(jù)。

文心大模型3.0的通用表示模塊和具體任務表示模塊都采用多層Transformer-XL結(jié)構作為主干。Transformer XL類似于Transformer，但是引入了輔助遞歸內(nèi)存模塊，方便對長文本進行建模。文新大模型3.0使用的激活函數(shù)是GeLU，使用的優(yōu)化器是Adam。

在基礎模型訓練中，文心大模型3.5采用了自適應混合并行訓練技術和混合精度計算策略，采用多種策略優(yōu)化數(shù)據(jù)源和數(shù)據(jù)分布，加快了模型迭代速度，顯著提高了模型效果和安全性。同時，百度R&D團隊創(chuàng)新的監(jiān)督微調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、結(jié)合雙飛輪的模型優(yōu)化等多類型多階段技術，提高了模型效果和場景適應能力。

文心大模型3.5在知識增強和檢索增強的基礎上，提出了“知識點增強技術”，使模型能夠更好地利用精細知識點提高理解和生成能力，進而增強對世界知識的掌握和應用。在推理方面，大規(guī)模邏輯數(shù)據(jù)構建、邏輯知識建模、多粒度語義知識組合和符號神經(jīng)網(wǎng)絡技術提高了模型的邏輯推理、數(shù)學計算和代碼生成能力。

文心NLP大模型:面向語言理解、語言生成等NLP場景，擁有超強的語言理解能力、對話生成能力和文學創(chuàng)作能力。將大數(shù)據(jù)的前期訓練與多源豐富的知識相結(jié)合，通過不斷學習技術，不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構、語義的新知識，實現(xiàn)模型效果的不斷進化。

文心CV Grand Model:基于領先的可視化技術，利用海量圖像、視頻等數(shù)據(jù)，為企業(yè)和開發(fā)者提供強大的visual basic模型和一套可視化任務定制和應用能力。

文新跨模態(tài)宏模型:基于知識增強的跨模態(tài)語義理解關鍵技術，可實現(xiàn)跨模態(tài)檢索、圖形生成、圖片文檔信息提取等應用的快速構建，實現(xiàn)工業(yè)智能轉(zhuǎn)型的AI輔助。

文新行業(yè)大模型:與各行業(yè)企業(yè)聯(lián)合研發(fā)，在通用大模型基礎上學習行業(yè)特色數(shù)據(jù)和知識，建設行業(yè)AI基礎設施。

文新生物計算宏模型:融合了自我監(jiān)控和多任務學習，將生物領域研究對象的特性融入模型中。為化合物分子和蛋白質(zhì)分子構建生物計算領域的預訓練模型，為生物醫(yī)藥行業(yè)賦能。

作為百度自主研發(fā)的知識增強語言模型，文心一言的關鍵技術包括監(jiān)督微調(diào)、帶人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是所有大型語言模型都會采用的技術；后三項是百度現(xiàn)有技術優(yōu)勢的再創(chuàng)新。

知識增長:文心一言的知識增長主要是通過知識內(nèi)化和知識外化。知識內(nèi)化是基于語義單元學習，用知識構造訓練數(shù)據(jù)，從大規(guī)模知識和未標注數(shù)據(jù)中學習知識成為模型參數(shù)；知識的外部利用就是引入外部多源異構知識，做知識推理，提示構造等等。

檢索增強:文心一言的檢索增強來自以語義理解和語義匹配為核心技術的新一代搜索架構。通過引入搜索結(jié)果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。

對話增強:基于對話技術和應用的積累，文心一言具備記憶機制、語境理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。

基本功能

文心一言提供基于文心大模型技術的人工智能問答服務。用戶需要在對話框中輸入文本信息，文心一言會根據(jù)用戶的輸入輸出相應的內(nèi)容作為響應，包括文本、表格、代碼和圖片。

文學作品：在文學創(chuàng)作的場景中，文心一言根據(jù)對話的問題概括了著名科幻小說《三體》的核心內(nèi)容，并提出續(xù)寫《三體》的建議角度，體現(xiàn)了對話問答、總結(jié)分析、內(nèi)容創(chuàng)作的綜合能力。

商業(yè)文案創(chuàng)作：在商業(yè)文案場景中，文心一言完成了公司命名、寫廣告語、寫新聞稿等創(chuàng)意任務，展現(xiàn)了自己的理解能力和表達能力。

數(shù)學計算：在進行數(shù)學計算時，文心一言糾正了“雞和兔子在同一個籠子里”的錯題，并提供了正確的步驟和答案，顯示了他的思維能力，能夠?qū)W習數(shù)學推導和邏輯推理等相對復雜的任務。

漢語理解：文心一言在中文領域擁有先進的自然語言處理能力，在漢語和中國文化方面有更好的表現(xiàn)。文心一言正確地解釋了成語“洛陽紙貴”的含義和相應的經(jīng)濟理論。

多模態(tài)生成：在多模態(tài)生成方面，文心一言具有生成文本、圖片和音頻的能力，甚至可以生成方言語音。

代碼功能：文心一言具有代碼解釋、代碼重寫、代碼注釋、代碼生成等能力。比如復制粘貼一段代碼，文心一言可以逐行解釋代碼的功能，并在最后總結(jié)整個代碼的功能，還可以重寫代碼。

插件功能：2013年8月16日，文心一言推出了百度搜索、文檔瀏覽、電子易圖、插畫繪畫、一鏡流五大原生插件，實現(xiàn)了模型生成實時準資訊、長文匯總問答、數(shù)據(jù)洞察與圖表制作、圖片創(chuàng)作與問答、文藝視頻。但由于視頻生成能力占用的計算能力較大，鏡像流截至2023年12月仍未向公眾開放。2023年12月9日，百度文心一言插件商城上線。該插件涵蓋辦公效率提升、多模態(tài)內(nèi)容理解與生成、專業(yè)信息查詢等實用場景。用戶一鍵安裝插件后，通過簡單的指令即可使用。

百度搜索：文心一言有能力產(chǎn)生實時和準確的信息。默認情況下，它處于啟用狀態(tài)，無法關閉。

瀏覽文檔：原ChatFile可以完成摘要、問答、創(chuàng)建等任務。基于文檔，并且只支持10MB以內(nèi)的文檔，不支持掃描文檔。

東宜顏圖：基于Apache Echarts，提供數(shù)據(jù)洞察和圖表制作，支持柱狀圖、折線圖、餅狀圖、雷達圖、散點圖、漏斗圖和思維導圖(樹形圖)。

比如繪畫：根據(jù)圖片寫單詞，回答問題。截至2023年12月，僅支持10MB以內(nèi)的圖片。

一面鏡子在流動：AI文轉(zhuǎn)視頻，從主題詞、句子、段落等文本描述內(nèi)容，一鍵創(chuàng)作生成視頻。

其他功能

商業(yè)信息查詢：愛奇藝提供商業(yè)信息檢索能力，可以用來查詢企業(yè)的商業(yè)/上市信息，老板的從業(yè)/投資情況。

樹形圖：AI人工智能mindmanager提供制作智能思維導圖的工具和模板，支持腦圖、邏輯圖、樹形圖、魚骨圖、組織結(jié)構圖、時間軸、時間線等多種格式。

AI視頻助手：AI視頻學習助手，加快視頻內(nèi)容的信息提取，輸入嗶哩嗶哩、小紅書，搖一搖音視頻鏈接，動態(tài)總結(jié)視頻內(nèi)容，只持一個創(chuàng)意視頻分析。

ppt助手：輸入PPT主題，AI智能生成PPT模板。

栗子看板：幫助用戶規(guī)劃和拆解任務，自動生成可視化任務看板。

知犀AI思維導圖：一鍵生成思維導圖，還可以選擇任意主題無限拓展AI靈感，支持在線生成、編輯、導出。

職場密碼AI智能簡歷：根據(jù)個人信息和工作名稱生成求職信、求職信、簡歷模板、中英文簡歷范本、考研簡歷。還可以在線編輯排版簡歷，一鍵換模板，AI智能診斷。

網(wǎng)頁閱讀：能提煉總結(jié)用戶提供的網(wǎng)站鏈接內(nèi)容。僅支持2000字以內(nèi)的網(wǎng)頁內(nèi)容閱讀，不支持PDF和圖像識別。

AiPPT.cn：一句話10秒智能生成完整PPT，支持在線編輯、演示、下載。