DeepInfer開源之後，完整API服務仍要自己接起來
伺服器回答「Hello world!」，能證明回應格式通了，卻不代表模型真的執行。DeepSeek這次開源的一個關鍵細節，就是deepseek-recipe的API範例明白使用模擬推論，旁邊的DeepInfer才是真實推論引擎。要接成可靠服務，工程工作仍然存在。
DeepSeek於10月20日發布DeepInfer，稱它支撐V4.1-Flash的大規模正式服務。但公開儲存庫的範圍較窄：提供離線推論，並列出完整服務尚未包含的部分。協定程式庫讓這條界線可以檢查，並未消除它。
對評估自架服務的團隊，新聞價值是可以閱讀實作選擇，不是已測得應用降本。我們檢查固定版本的程式與文件，沒有編譯加速器堆疊、執行權重或重現效能。以下說明交付範圍、數字及應用仍須負責的行為。
公開引擎尚未包含完整服務
目前支援V4.1-Flash、NVIDIA SM100及華為Ascend950，需Linux、Python3.12與對應CUDA或CANN。它不是能在小團隊任意現有設備啟動的通用工具。
缺項包括KV快取系統、視覺編碼/預填充/解碼分離，以及資料平行副本的負載平衡。KV快取是先前token保留的注意力狀態；預填充讀輸入，解碼接續產生輸出。各階段分離有助分別配置資源。文件說必要引擎功能多已實作，但完整服務組合未附上。
假設團隊目前呼叫外部模型。一筆離線工作成功，只代表指定環境完成一次生成，不能解答併發接入、取消、快取配置或工作節點故障時的可用性。即使權重不變，使用者體驗仍會受影響。
基礎設施團隊可以立即研究引擎；沒有這些設備的應用團隊，也能向託管商問更精準的問題。取得程式與能營運服務是兩個里程碑，都有價值。
吞吐量取決於草稿token怎麼計算
投機解碼先提議多個token，再由驗證決定保留哪些。範例文件區別預填充吞吐、每秒解碼步數及解碼吞吐，其中一種口徑假設全部草稿被接受。提出多個token不等於真的輸出同樣多個。
繪圖實作在固定長度模式採用1 + nextn × draft_acceptance，將指定接受率換成假定的token貢獻。這個路徑排除可變長度模式，因為其步速已含接受行為，不能再乘一次。
因此，接受率假設下的吞吐、真正被接受的token速度、使用者等到可用答案的時間，不能混為一談。必須一起記錄輸入長度、快取前綴、批次和草稿模式，否則兩張圖可能描述不同工作。
頂層圖還分別使用4個SM100測預填充、64個測解碼，各位於單一scale-up域。不能據此承諾4卡系統同時達到兩邊曲線。公開掃描腳本是重現路徑，不是NxCode已重現的結果。
應用也要算完成且可接受的答案。輸出很快卻因工具格式錯誤不斷重跑，使用者耗時仍可能更高。引擎測試解釋資源行為，產品成果須另測。
重複性是一組設定，不只是一個種子
DeepInfer說明NVIDIA上的批次無關推論與確定性取樣。前者希望同筆請求不受同批其他工作影響；後者還需固定序列種子、關閉可變長度MTP。這不是加一個seed就保證任意執行可重現。
查回歸時應保留模型、引擎版本、token化輸入、取樣及執行設定。如果另一筆無關工作加入批次就改變輸出，只比較提示字串會漏掉原因。
可重複也不代表正確。相同錯誤重複仍是錯誤；schema合格也可能事實不對。結構化範例刻意把自由故事提示搭配正則、JSON及文法約束，檢查形式，並非證明業務內容正確。
分開確認後端保留行為、用戶端能解析、答案有用，才容易定位問題，不必每次都歸咎模型品質。
協定轉換不替應用執行模型或工具
recipe文件描述Rust程式庫及Python綁定，把不同請求轉成共用會話表示、渲染提示，再把輸出解析回各協定。呼叫者提供推論、工具執行及HTTP，這是轉接層的範圍。
recipe會轉換schema、選擇輸出約束，但後端是否用受限解碼強制執行，仍由呼叫者決定。把JSON schema寫進提示，不等於接上引擎限制機制；表面相容可能漏掉關鍵語意。
假設有個預約助手。轉換工具定義、解析預約呼叫，不會真的保留時段。應用仍須檢查參數、呼叫預約系統、把結果回傳會話。這是說明情境，並非實測整合案例。
遷移時除了欄位名稱，要比對思考設定是否進入推論、結束原因是否傳給用戶端，以及schema是強制還是僅呈現在提示。普通文字回答成功，不能代替這些確認。
看似正常的串流，也可能仍是模擬
串流指南示範推論區塊轉成協定區塊，使用模擬後端事件；Python介面逐塊處理，最後完成回應。這讓開發者不用集群也能理解轉換。
Rust伺服器範例有三種協定、一般JSON與SSE，卻明確不用權重，回傳模擬的「Hello world!」。它沒有驗證身分，圖片抓取也未過濾私有位址，因此文件要求只留在本機回環。這是範例的界線，不是DeepSeek託管服務發生事故的證據。
畫面收到串流，只驗證實際走過的路徑。後端事件、用量和結束狀態仍須對應真實推論。用戶端斷線後計算是否停止，與畫面不再顯示token是不同測試。
預約也有重試問題。解析工具呼叫與已完成預約是兩件事；回應遺失後，應先知道外部系統是否已有預約，再重做動作。協定轉換無法推斷自己不操作的系統結果。
把材料分成幾項可以獨立驗證的實驗
評估指南分開生成和評分，保留原始輸出，允許換裁判後重評而不重生成。Pass@1需完整覆蓋才有效；模型裁判有隨機性，固定規則擷取則不同，HLE只支援模型裁判。解碼可重複，不會讓另一個裁判也變成確定。
有設備可先建立離線基準、保存設定及輸出，再獨立檢查協定。評估供應商的團隊也能要求這些證據，不必宣稱自己營運過集群。
| 實驗 | 應有的證據 |
|---|---|
| 引擎 | 指定設備、權重、版本的真實輸出 |
| 吞吐 | 輸入、快取、批次、草稿及計數口徑 |
| 協定 | 請求語意、約束、串流結束及用量 |
| 應用 | 外部結果、中斷與重試後狀態 |
對NxCode開發者，先決定自己負責哪個問題。使用託管端點不必重建整套服務才能受益，準備自架也不能因離線範例成功就跳過服務工作。DeepInfer與recipe打開了不同邊界；採用證據應連起真實引擎與真實服務，而非讓模擬問候替代兩者。
