左下綠曲線標明模型對接下來的詞更「有掌握」，這兒可以分紅兩個運用場景 ：
- 離線考慮
：等模型把一整條推理途徑都寫完了
，
DeepConf是怎樣「用相信度挑選 、
圖3闡釋了各種相信度衡量辦法以及依據相信度的離線考慮的作業原理。
- 在線形式
：當相信度實時降至閾值以下時
，就實時參閱相信度 。讓模型既想得更準，中心思路是讓大模型在推理進程中實時監控相信度 ，研討人員提出了兩種依據最低分組相信度，再在線用s給并行思路「邊走邊查看」。
之前的辦法在完好生成之后運用相信度/熵用于測驗時和強化學習（RL） 。
DeepConf的訣竅是什么 ？
其實 ，DeepConf-low均一致選用前η=10%的戰略 ，這類內容通常被保存。
DeepConf實時監控「部分相信度」 ，不是在完結后 ，
圖4中闡釋了在線生成的進程 。每個候選答案a的票數為 ：
- 相信度加權大都投票
這個辦法不再平等對待每條途徑的投票 ，
可以說 ，再在線篩
1. Offline Warm-up（上圖右側 ，
其間 ，
下圖橫軸是token數量（推理所需的計算成本） ，反之 ，終究得出一致答案 ：29 。這個決心值就會低 。
在線考慮
在線考慮形式經過在生成進程中實時評價推理途徑的質量