近些年來,隨著人工智能(AI,Artificial Intelligence),尤其是非具身式AI技術的快速發(fā)展與應用的發(fā)展,如生成式大語言模型的出現(xiàn)(DeepSeek、豆包等),使得AI火爆起來。人工智能(AI)系統(tǒng)的性能優(yōu)劣直接影響到其應用效果和社會影響。為此下述將簡要介紹AI系統(tǒng)的相關指標參數(shù),為了客觀評估AI系統(tǒng)的特性與能力,考核指標,涵蓋技術性能、用戶體驗、倫理合規(guī)等三個層面(其指標層面及參數(shù)種類包括但并不限于),適用于不同應用場景的評估需求。這些指標及參數(shù)不僅幫助開發(fā)者優(yōu)化模型,還能為用戶提供參考。其重要性表現(xiàn)在:一是推動技術優(yōu)化。通過評估指標可以定位系統(tǒng)的優(yōu)勢與不足,為技術迭代提供方向。二是保障公平與透明。指標體系的公開化有助于衡量AI系統(tǒng)是否偏向特定群體或數(shù)據(jù)分布。三是滿足多樣化應用需求。不同應用場景下對AI系統(tǒng)的需求各異,需要通過多維指標體系來適配。
欲具體了解人工智能(AI)系統(tǒng)介紹的請進入。
一、技術性能指標的參數(shù)
人工智能(AI)系統(tǒng)的性能參數(shù)是AI最核心的考核指標,通常可包含以下幾維度,并可以看出各維度均采用是統(tǒng)計學的參數(shù):
1、模型準確性
模型準確性是衡量AI模型基于數(shù)據(jù)做出預測或決策的能力指標。它使用于評估AI模型性能常用指標,可用于比較不同模型的性能或評估特定模型對于給定任務的有效性。模型準確性可以從下述四個方面來考量,每個方面又有相關的指標參數(shù)來度量:
一是分類任務方面。可選用的相關參數(shù)包括:準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1分數(shù)(F1-Score)、ROC曲線下面積(AUC-ROC)、混淆矩陣等。這些指標參數(shù)的含義、計算及特點可詳見下表1-1-1。
表 1-1-1:關于分類任務方面的指標參數(shù)
二是回歸任務方面。可選用的相關參數(shù)包括:均方誤差(MSE)、平均絕對誤差(MAE)、決定系數(shù)(R2值)等。這些指標參數(shù)的含義、計算及特點詳見下表1-1-2。
表 1-1-2:關于回歸任務方面的指標參數(shù)
三是生成任務方面。主要用于自然語言處理(NLP)類模型和計算機視覺(CV)處理類模型等。可選用的相關參數(shù)包括:BLEU(Bilingual Evaluation Understudy)分數(shù)、ROUGE(Recall-Oriented Understudy for Gisting Evaluation)分數(shù)、困惑度(Perplexity)、基于R的約束圖像描述評價(CIDEr)、IS(Inception Score)、FID(Fréchet Inception Distance)、峰值信噪比(PSNR)、結構相似性(SSIM)等。這些指標參數(shù)的含義、計算及特點詳見下表1-1-3。
表 1-1-3:關于生成任務方面的指標參數(shù)
四是檢測任務方面。目標檢測(Object Detection)任務是找出圖像中所有感興趣的目標(物體),確定它們的類別和位置,是計算機視覺領域的核心問題之一。主要包括平均精度均值(mAP,mean Average Precision)和交并比(IoU)等參數(shù)。其含義及特點詳見下表1-1-4。
表 1-1-4:關于檢測任務方面的指標參數(shù)
2、效率與資源消耗指標
人工智能(AI)系統(tǒng)是一個資源(硬件利用率、數(shù)據(jù)吞吐量、能效比、時延等)消耗巨大的系統(tǒng),因此,建立起提高效率、降低消耗考核指標至關重要。在評估AI系統(tǒng)的效率和資源消耗時,通常需要結合硬件性能、算法優(yōu)化、任務需求和實際場景進行綜合考量。其關鍵考核指標包括以下幾個方面:
一是計算效率方面。關于AI系統(tǒng)的效率計算方面的指標參數(shù)常選用:每秒浮點運算次數(shù)(FLOPS)、計算密度(Ops/Watt)、硬件利用率(%)等,它們的釋義詳見下表1-2-1。
表 1-2-1:關于AI系統(tǒng)的效率計算方面的指標參數(shù)
二是任務執(zhí)行效率和算法效率方面。任務執(zhí)行效率的指標參數(shù)常選用:推理/訓練時間、吞吐量(QPS/TPS)、延遲(Latency)、響應時間(RT)和并發(fā)數(shù)等;算法效率的指標參數(shù)常選用:收斂速度、計算復雜度(包含時間復雜度和空間復雜度)等。該指標方面參數(shù)的釋義詳見下表1-2-2。
表 1-2-2:關于AI系統(tǒng)的任務執(zhí)行效率和算法效率方面的指標參數(shù)
三是資源消耗方面。該方面的指標參數(shù)應包括:硬件占有率、顯存占用率、模型復雜度(參數(shù)量)、通信開銷、能耗、碳排量等。這些參數(shù)的釋義詳見下表1-2-3。
表 1-2-3:關于AI系統(tǒng)的資源消耗方面的指標參數(shù)
四是可擴展性與靈活性方面。該方面主要是指模型優(yōu)化方面的性能參數(shù),常選用的有:模型壓縮率、精度損失(%)、多節(jié)點效率(加速比)、橫向擴展效率、容錯開銷等。這些參數(shù)的釋義詳見下表1-2-4。
表 1-2-4:關于AI系統(tǒng)的可擴展性與靈活性方面的指標參數(shù)
對于選擇上述效率與資源消耗指標參數(shù)需與實際業(yè)務強關聯(lián)。例如自動駕駛系統(tǒng)需嚴控延遲與功耗;推薦系統(tǒng)則更關注吞吐量和硬件成本;模型優(yōu)化方面通常需權衡效率與資源消耗(如量化壓縮以犧牲少量精度換取更低的計算開銷)。建議結合動態(tài)監(jiān)控(如實時資源看板)與長期成本分析(如TCO模型)進行綜合評估。下表1-2-5給出了典型應用場景的參數(shù)指標的差異比較。
表 1-2-5:典型應用場景的參數(shù)指標的差異
欲更多了解英偉達(NVIDIA)GPU性能參數(shù)介紹的請進入。
二、用戶體驗性能指標的參數(shù)
人工智能(AI)系統(tǒng)的用戶體驗(UX,User Experience)即用戶在使用AI系統(tǒng)過程中建立起來的一種主觀感受。從中能反映出AI系統(tǒng)的智能程度和接受程度,特別適用于通用人工智能(AGI)。通常,對于評價人工智能(AI)系統(tǒng)用戶體驗的指標可以從下述四個維度來考量,每個維度又分為相關方面指標的參數(shù):
1、核心效率指標
核心效率指標反映的是AI系統(tǒng)所具有的特性和能力維度的指標。其評價參數(shù)可包括以下三個方面:一是響應速度方面,常采用響應時間、吞吐量等參數(shù),可見前述。二是任務完成能力方面,常采用任務完成率、首次解決問題率、復雜任務支持度等參數(shù)。三是準確性方面,常采用技術準確率、用戶感知準確率、錯誤率等參數(shù)。下表2-1給出了這些相關指標參數(shù)簡介。
表 2-1:關于核心效率指標的相關參數(shù)
2、交互質量指標
交互質量指標反映的是AI系統(tǒng)所具有的與用戶打交道的能力維度的指標。其評價參數(shù)可包括以下三個方面:一是自然交互能力方面,常采用意圖識別率、上下文理解度、輸出可理解性、容錯性與恢復能力等參數(shù)。二是交互友好性方面,常采用界面響應速度、用戶操作流程簡化度、個性化推薦相關性等參數(shù)。三是多模態(tài)體驗性方面,常采用跨模態(tài)一致性、多模態(tài)響應速度等參數(shù)。下表2-2給出了這些相關指標參數(shù)的簡介。
表 2-2:關于交互質量指標的相關參數(shù)
3、用戶主觀感受指標
用戶主觀感受指標反映的是用戶對AI系統(tǒng)使用后的真是評價維度的指標。其評價參數(shù)可包括以下兩個方面:一是滿意度量化方面,常采用用戶滿意度(CSAT)、凈推薦值(NPS)和費力度(CES)、A/B測試結果對比等參數(shù)。二是情感與信任方面,常采用情感識別準確率、信任度、可解釋性評分等參數(shù)。下表2-3給出了這些相關指標參數(shù)的簡介。
表 2-3:關于用戶主觀感受指標的相關參數(shù)
4、長期使用指標
長期使用指標反映是用戶對AI系統(tǒng)使用的迷戀和耐久程度維度的指標。其評價參數(shù)可包括以下兩個方面:一是用戶留存活躍度方面,常采用用戶留存率、功能滲透率、活躍度、轉化率等參數(shù)。二是系統(tǒng)進化能力方面,常采用迭代響應速度、個性化適配度、系統(tǒng)可擴展性等參數(shù)。下表2-4給出了這些相關指標參數(shù)的簡介。
表 2-4:關于長期使用指標的相關參數(shù)
通過以上用戶體驗性能指標,可系統(tǒng)化診斷AI用戶體驗瓶頸,針對性優(yōu)化技術能力與交互設計。最終目標是通過技術性能與用戶心理需求的平衡,構建高效、可靠且人性化的AI體驗。
三、倫理與合規(guī)指標的參數(shù)
隨著人工智能(AI)特別是AGI的發(fā)展,其智能程度的提高,應用使用的普及,已經(jīng)滲透到我們生活的方方面面,對人類及社會影響極大,故引起人們在倫理與合規(guī)性層面的高度重視。對于AI的設計與應用,倫理側重道德責任,合規(guī)側重守法義務。倫理與合規(guī)性指標是確保AI的技術可信賴和社會可接受的核心框架。以下是AI系統(tǒng)倫理與合規(guī)性關鍵指標,涵蓋倫理、法律和社會三個維度:
1、倫理屬性指標
倫理(?Ethics)是指在處理人與人、人與社會相互關系時應遵循的道德和準則。而AI在倫理屬性指標的評價參數(shù)可包括以下三個方面:一是公平性方面,常采用歧視性、包容性、算法偏見控制力等參數(shù)。二是透明性與可解釋性方面,常采用模型可解釋性、決策溯源能力等參數(shù)。三是隱私與安全方面,常采用數(shù)據(jù)匿名化率、倫理沖突處理能力、對抗攻擊魯棒性和用戶控制度等參數(shù)。下表3-1給出了這些相關指標的參數(shù)簡介。
表 3-1:關于倫理屬性指標的相關參數(shù)
2、合規(guī)屬性指標
合規(guī)(Compliance)是指AI系統(tǒng)的處理結果(決策)應符合國家法律法規(guī)、監(jiān)管規(guī)定、行業(yè)準則等的要求?。其指標的評價參數(shù)可包括以下三個方面:一是法規(guī)遵守方面,常采用法規(guī)映射覆蓋率、實時法律更新響應時間等參數(shù)。二是數(shù)據(jù)安全方面,常采用加密傳輸率、數(shù)據(jù)生命周期完整審計等參數(shù)。三是責任可追溯方面,常采用決策鏈追溯深度、責任主體明確性等參數(shù)。下表3-2給出了這些相關指標的參數(shù)簡介。
表 3-2:關于合規(guī)屬性指標的相關參數(shù)
3. 社會屬性指標
社會屬性指標是指AI系統(tǒng)的決策對社會影響的評估屬性的指標。其評價指標可包括以下三個方面:一是人類監(jiān)督方面,常采用關鍵決策人工復核率、否決權響應延遲等參數(shù)。二是社會價值評估方面,常采用可持續(xù)發(fā)展目標匹配度、社區(qū)影響評估完成率等參數(shù)。三是環(huán)境影響方面,常采用碳足跡強度、硬件回收利用率等參數(shù)。下表3-3給出了這些相關指標的參數(shù)簡介。
表 3-3:關于社會屬性指標的相關參數(shù)
這些倫理與合規(guī)的指標參數(shù)需通過技術手段(如聯(lián)邦學習架構)、管理流程(倫理委員會季度審查)和法律工具(合規(guī)性認證)的立體化實施,最終形成可量化、可審計、可持續(xù)改進的AI治理體系。
欲進一步了解人工智能(AI)系統(tǒng)分類方法的請進入。