重點
- 使用 /v1/chat/completions 端點以確保與現有 SDK 完全相容並簡化整合。
- 嚴格監控 100k token 上下文視窗，以避免過早截斷或意外成本。
- 實作穩健的錯誤處理機制，以應對速率限制 (RPM) 與無審查延遲的變化。
- 請記住，沒有過濾器意味著如果有需要，你必須負責下游的內容審核。
模型定義
模型的選擇決定了應用程式的行為。對於無審查 AI用途，請選擇經過訓練以減少在成人或爭議性主題上拒絕回應的開放權重模型。與標準專有模型不同，此類 LLM 不會應用基於企業政策的嚴格防護措施，允許更忠實於使用者提示詞的回應。
確認模型是否原生支援函式呼叫 (tool calling)。這對於需要結構化 JSON 輸出或與外部 API 互動的應用程式至關重要。相容 OpenAI API 的 payload 格式可確保你在不同供應商之間遷移時無需重寫整合層。
上下文檢查
100,000 token 的上下文視窗允許保持長對話或處理長文件而不會立即遺失資訊。然而，更大的上下文不等於更高的智慧；它僅代表更長的記憶。開發者應實作滑動視窗或摘要策略來管理歷史記錄的增長。
- 輸入 Token：計算對話歷史加上當前提示詞。
- 輸出 Token：計算生成的回應。
即時監控 token 使用量。超過 100k 限制會導致 API 錯誤或截斷，具體取決於伺服器實作。對於長對話應用，請考慮僅發送最後 N 次互動以保持成本可預測。
Token 管理
無審查 AI 的成本與處理的 token 量成正比。該模型對輸入 token 收取每百萬 $0.25，對輸出 token 收取每百萬 $1.00。由於無過濾器模型的輸出通常更長且更複雜，輸出成本可能顯著超過輸入成本。
在發送請求之前，在客戶端實作 token 計數器。這允許在發送前估算回應的確切成本。為了優化，請減少系統提示詞的冗長度，並在可能時使用函式返回結構化資料而非自然語言，因為 JSON 的 token 密度高於自然語言。
請求限制
為了確保穩定性，服務對每個 API 金鑰實施每分鐘 300 次請求 (RPM) 的限制，最大請求主體為 8 MB。在使用高峰期，超過 RPM 會導致 429 錯誤 (Too Many Requests)。開發者應實作指數退避重試機制。
考慮使用訊息佇列來平滑高並行應用中的需求。如果你需要更高的吞吐量，請規劃將負載分佈到多個 API 金鑰，或增加使用者的感知延遲以符合基礎設施的自然限制。
API 金鑰安全
你的 API 金鑰是存取無審查 AI 的唯一憑證。它不會自動過期，但可以隨時撤銷。將金鑰保存在伺服器的環境變數中，切勿在前端程式碼或公共儲存庫中暴露它。
如果有濫用嫌疑，請立即生成新金鑰。這將使舊金鑰無效並切斷任何正在使用該金鑰的客戶的存取權。如果你的平台允許詳細監控，請啟用過度使用警報，以便快速檢測機器人或洩漏的腳本。
錯誤處理
常見錯誤包括 429 Too Many Requests（速率限制）、400 Bad Request（無效格式）和 500 Internal Server Error。請務必處理網路錯誤和超時。無審查模型偶爾會因訓練資料較少篩選而返回不完整答案或較多幻覺。
實作備援邏輯。如果回應失敗，請嘗試使用稍微不同的 temperature 值重新發送，或減少上下文大小。向最終使用者顯示原始技術錯誤可能會造成混淆；請務必將錯誤代碼轉換為友善且可操作的訊息。
串流與即時
支援伺服器發送事件 (SSE) 串流允許你逐 token 顯示回應，改善使用者的延遲感知。這對於即時聊天應用至關重要。
要實作串流，請將 HTTP 客戶端配置為在資料到達時讀取資料區塊。這會降低感知的初始等待時間 (TTFT)。請記住管理客戶端狀態，以避免在連接中斷並需要重新連接時 token 重複。串流不會改變收取的價格，僅改變資料交付方式。
函式使用
函式 (function calling) 允許模型決定何時以及如何呼叫外部工具。使用無限制 API 時，模型在結構化函式引數方面可能更具創意。請確保在執行之前在伺服器端驗證收到的參數。
為你的函式定義清晰的 JSON 架構。無審查不會影響 JSON 的技術準確性，但可能會影響模型解釋模糊情境時的創意。廣泛測試極端情況，在這些情況下模型可能會發明架構中未定義的引數。
資料隱私
雖然模型不會過濾內容，但請查閱資料使用政策以了解訓練用途。此服務聲明提示詞不會用於訓練模型，這對企業或敏感應用至關重要。隱私由服務的精簡設計保障：帳戶僅需電子郵件和密碼即可建立。
對於高度敏感的資料，若隱私至關重要，建議在將資料傳送至 API 之前實作一層遮蔽機制。請注意，模型會根據傳送的提示詞生成文本；若您輸入姓名，它可能會出現在回應中。無審查意味著模型不會自動封鎖個人識別資訊（PII）。
