“ 怎么選擇和測(cè)試一款大模型，是一個(gè)需要思考的問題”

到今天為止，市面上的大模型沒有一萬也有三千；如果算上那些學(xué)習(xí)使用的大模型，可能幾十萬都不止。

但對(duì)企業(yè)來說，要想構(gòu)建一個(gè)企業(yè)級(jí)的AI應(yīng)用，最好的選擇就是使用第三方大模型或者使用開源大模型，那么在如此多的模型中，怎么選擇一個(gè)適合自己任務(wù)的大模型呢？

個(gè)人開發(fā)的人工智能聊天小程序，感興趣的可以點(diǎn)擊查看：

01、為什么要選擇模型？

這兩年市面上的模型如雨后春筍般不斷涌現(xiàn)，而且模型的能力也在不斷加強(qiáng)。但不論是對(duì)個(gè)人還是企業(yè)來說，東西多了反而不知道該怎么選了。

有句老話叫：“沒有最好的，只有最合適的”；這句話放到大模型上也是一樣，不論是對(duì)個(gè)人還是對(duì)企業(yè)，怎么選擇一個(gè)好的模型，是一個(gè)值得思考的問題。

對(duì)個(gè)人來說，如果學(xué)的是自然語言處理，那么選擇一個(gè)圖片處理的模型就走偏了。

而對(duì)一家企業(yè)來說，選擇模型需要考慮的問題就更多了，比如模型的功能是否滿足需求，模型的響應(yīng)速度，數(shù)據(jù)安全問題，更新頻率以及是否有完善的文檔，更重要的是使用模型的成本問題。

而目前由于大模型的應(yīng)用還處于初級(jí)階段，雖然搞了一年多的千模大戰(zhàn)，但真正能把大模型貼合到具體的應(yīng)用場(chǎng)景中，還處于探索的階段。

因此，市面上也很難見到完整的大模型企業(yè)級(jí)解決方案；而今天就來簡(jiǎn)單討論一下怎么選擇一個(gè)適合的大模型；也可以說是選擇模型的一個(gè)簡(jiǎn)單方法論。

02、怎么選擇模型？

無論做任何事，都會(huì)有固定的幾個(gè)步驟，選擇模型也不例外；而怎么選擇模型，總結(jié)了以下幾個(gè)步驟：

明確任務(wù)需求

選擇大模型之前，第一步就是要確定任務(wù)需求，也就是說你想用大模型干什么？只有明確了任務(wù)需求，才能知道應(yīng)該選擇什么樣的大模型。

舉例來說，你想利用大模型做一個(gè)具有圖像處理功能的大模型，那么你選擇自然語言處理的模型就肯定不合適。

在明白需求的情況下，你才知道怎么想干嘛，以及能干嘛。

確定模型類型和架構(gòu)

根據(jù)任務(wù)需求，篩選符合任務(wù)功能的模型；比如說，同樣都能進(jìn)行圖片處理的大模型，是選擇開源的，還是商業(yè)閉源；是選擇AGI(通用人工智能)這種能夠進(jìn)行多模態(tài)處理的大模型，還是選擇垂直領(lǐng)域內(nèi)的模型。

評(píng)估大模型和基礎(chǔ)能力

在確定大模型的類型之后，就可以對(duì)模型進(jìn)行簡(jiǎn)單的評(píng)估；不論是使用官方給出的評(píng)測(cè)結(jié)果，還是自身的評(píng)測(cè)手段，比如自己整理一部分業(yè)務(wù)數(shù)據(jù)做成測(cè)試集，然后丟到模型中進(jìn)行交叉測(cè)試。

評(píng)估大模型不但要評(píng)估大模型的基礎(chǔ)能力，同時(shí)還要看大模型的響應(yīng)速度，是否支持大數(shù)據(jù)量處理，大模型是否會(huì)經(jīng)常更新等。

選擇模型

在確定了前面幾個(gè)步驟之后，可能會(huì)有幾個(gè)模型供我們選擇；這時(shí)我們就需要對(duì)它們進(jìn)行篩選了，如果說前面的步驟是硬性條件，那么現(xiàn)在就需要篩選一些軟性條件。

比如說，這款大模型的文檔是否完善，文檔更新是否及時(shí)；以及，如果是第三方大模型，那么使用大模型的成本是否合適。

還有就是，大模型是否能本地部署，本地部署需要的成本有多少，需要多少硬件設(shè)備，以及需要多少人力進(jìn)行維護(hù)。還有就是數(shù)據(jù)安全問題，是否能夠得到保障等。

總之，選擇大模型是一個(gè)復(fù)雜的過程，特別是不使用第三方模型的情況，自己部署大模型的情況下。

使用第三方模型，如果覺得效果不好換一家就行了；但如果本地部署大模型，如果表現(xiàn)不好那么前期的人力和硬件資源的投入就無法收回了。

當(dāng)然，這里只是記錄一下自己認(rèn)為的大模型選擇方案，可能還有很多問題有待完善，對(duì)企業(yè)級(jí)大模型有了解或感興趣的朋友可以來參與討論。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/_gM_dUuzWk1tDCBASSq-jg??