編譯 | 長頸鹿
編輯 | 香草

智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。

Phi-3-mini作為微軟Phi系列的第四代產品，以其38億參數和3.3T tokens的龐大訓練數據量，在語言、推理、編碼和數學基準測試中超越了眾多數百億參數規(guī)模的模型。

此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯并執(zhí)行不同類型的指令。

與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和運行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞于GPT-3.5的性能。

Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比于其他相似功能的模型，Phi-3-mini成本可能只有十分之一。

據微軟研究團隊稱，Phi-3-mini小體積、高性能的創(chuàng)新歸功于由合成數據組成的數據集。該數據集由大量已過濾的網絡數據和其他AI制作的兒童讀物中的合成數據組成。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。

目前有三個平臺可以獲取Phi-3-mini：

Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml

Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama：https://ollama.com/library/phi3

一、“小而美”的模型，Phi-3-mini優(yōu)于兩倍其尺寸模型

據微軟官網稱，Phi-3模型是目前能力最強、性價比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規(guī)模甚至更大型模型的能力。

Phi-3-mini包含兩種上下文長度的規(guī)模，分別是4k和128k tokens，其中128k tokens的上下文窗口支持在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執(zhí)行多種指令，確保了其即時可用性。

Phi-3模型在小尺寸上具有突破性的性能。根據微軟研發(fā)團隊的測試，Phi-3模型在基準測試中優(yōu)于相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的性能優(yōu)于其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的性能優(yōu)于更大的模型，包括GPT-3.5 Turbo。

根據性能對照表，Phi-3-mini的兩個變體于基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次于GPT3.5-Turbo模型，17項次于Claude-3 Sonnet模型。

 

▲Phi-3系列基準測試對照表（圖源：微軟）

此外，微軟還在學術報告中稱Phi-3模型的整體性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。

Phi系列模型的起源于微軟研究部門，已經被廣泛使用，其中Phi-2下載量超過200萬次。從用于Python編碼的Phi-1開始，到增強推理和理解的Phi-1.5，再到27億參數的Phi-2，Phi系列在語言理解方面超越了其25倍參數大小的模型。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B），旨在為Azure AI和其他模型庫提供更靈活的選擇。

二、Phi-3遵循安全和高質，Phi-3-mini為多個平臺專門優(yōu)化

Phi-3模型的設計遵循了微軟的“負責任AI標準”，包括問責制、透明度、公平性、可靠性與安全性、隱私與安全和包容性。Phi-3模型經歷了嚴格的安全度量和評估、紅隊測試、敏感用途審查，并遵循安全指南，以確保這些模型在開發(fā)、測試和部署過程中都符合微軟的標準和最佳實踐。

Phi-3模型在訓練過程中采用了高質量的數據，這是基于先前的Phi模型工作的延續(xù)。它們還通過了廣泛的安全后訓練，包括從人類反饋中進行的強化學習（RLHF）、在數十個傷害類別上進行的自動測試和手動紅隊測試。

此外，Phi-3-mini在Azure AI上配備了一套完整的部署、評估和微調工具鏈，并通過Ollama平臺使開發(fā)者能夠在本地筆記本電腦上運行。模型還針對ONNX Runtime進行了優(yōu)化，支持Windows DirectML，并且實現了跨平臺支持，包括GPU、CPU和移動硬件。

同時，Phi-3-mini也作為英偉達推理微服務（NVIDIA NIM）提供，具備可廣泛部署的標準API接口，并對英偉達GPU進行了專門優(yōu)化。

三、Phi-3提供離線推理場景，AI解決方案已落地印度

微軟公司通過提供Copilots幫助客戶用生成式AI進行業(yè)務轉型。他們認為，不同任務對質量成本曲線上不同規(guī)模模型的需求正日益增長。

小語言模型，如Phi-3，特別適用于以下情況：資源受限的環(huán)境，包括設備上和離線推理場景；延遲約束的場景，快速響應時間至關重要；以及成本受限的用例，特別是那些具有較簡單任務的用例。

由于尺寸較小，Phi-3模型可以在計算受限的推理環(huán)境中使用，特別是Phi-3-mini可以在端側使用。Phi-3模型的較小尺寸還使得微調或定制變得更加容易和更具成本效益。此外，較低的計算需求使其成本更低，延遲更好。較長的上下文窗口使其能夠處理和推理大量的文本內容，如文檔、網頁、代碼等。

微軟的一些客戶已經開始使用Phi-3構建解決方案。比如農業(yè)領域，Phi-3模型為農民提供了更便捷、更經濟的解決方案，并幫助他們在沒有穩(wěn)定互聯網連接的情況下使用AI技術。

印度一家領先的商業(yè)集團ITC正在將Phi-3模型用于Krishi Mitra（一款面向農民的應用程序）內，幫助印度農民通過技術手段獲得更好的農業(yè)解決方案。據悉，該應用已經覆蓋了超過一百萬名農民。

結語：大小模型相輔相成，離線AI聊天已成現實

微軟的Phi-3模型設計的初衷旨在兼容多種設備。Phi-3與Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一樣，能夠在端側運行，而無需依賴互聯網連接。

盡管云端大模型在性能上全面超越小模型，但它們也存在一些局限性，包括較高的成本、運行速度以及對互聯網連接的依賴。相比之下，Phi-3允許用戶在沒有網絡的情況下與虛擬助手進行互動，能夠在不上傳數據的前提下實現內容總結，解決了AI領域的一部分弊端。

未來這類模型有望與智能手機集成，甚至可能內置于常用家電中，為用戶的生活提供個性化建議。我們期待AI變得越來越生活化，也期待小語言模型在未來的進步