無限 AI：常見錯誤排除

了解 tokenization 與上下文視窗

Tokenization 將您的輸入文本分解為模型順序處理的數值單位。每個詞通常轉換為約三個 Token，這意味著一段短文本可能會迅速消耗大量的上下文空間。這種轉換直接影響模型在對話中保留多少資訊。如果您的輸入超過上下文窗口，模型可能會丟失早期細節或截斷對話歷史。我們的 API 支持高達 100,000 個 Token 的上下文窗口（提示和完成合計）。這允許您輸入大型文件或廣泛的聊天歷史而不會立即截斷。然而，您必須仔細管理此資源以避免意外行為。Tokenization 也影響成本，因為您按使用的 Token 付費。了解您的文本如何轉換為 Token 有助於優化性能和支出。始終監控 Token 使用量，以確保您的應用程式順利運行。 範例： 100 個字的提示詞大約消耗 300 個 token，為長回應留下充足的空間。

為什麼「unlimited tokens」不代表無限輸出

「無限 token」一詞通常指的是上下文視窗的大小，而非輸出長度。雖然我們的 API 提供 100,000 token 的上下文視窗，但每次請求的最大輸出限制為 16,000 token。如果您未指定限制，預設輸出長度為 2,048 token。對於需要長篇生成的應用程式來說，這項區別至關重要。您無法在一次呼叫中生成超過 16,000 token 的單一回應。要實現更長的輸出，您必須實作分割生成或附加區塊的策略。此設計可防止記憶體尖峰並確保穩定的效能。同時，它也能保持成本的可預測性，因為您只需為實際生成的 token 付費。 提示： 始終設定 max_tokens 參數明確設定，以避免意外觸及預設限制。

處理審查與內容政策

我們的無審查模型經過調校，以在合法成人用途的情況下無內容拒絕地進行回答。這意味著它不會積極過濾有爭議的、虛構的或安全研究主題。然而，有一個硬性限制始終適用：涉及未成年人的性內容會被拒絕。此限制是不可妥協的，並在模型層面執行。如果你的用例涉及成熟主題，此 API 旨在在不必要的情況下適應它們。模型保持其輸出風格的一致性，確保你的應用程式獲得可預測的結果。你不需要擔心隨機審查過濾器會在對話中途啟動。這種可靠性對於依賴一致語調和內容的應用程式至關重要。 注意： 該模型不是 GPT、Claude 或任何其他廠商的模型。它在我們自己的服務器上運行開權重模型。

管理速率限制與併發

我們的 API 對每個 API 金鑰實施每分鐘 300 次請求的限制。此外，每個金鑰最多可以有 8 個併發請求同時處於活動狀態。這些限制旨在確保公平使用並維持伺服器穩定。如果您超過這些限制，您將收到速率限制錯誤。為處理此情況，請在客戶端代碼中實施指數退避。此策略允許您的應用程序優雅地恢復，而不會壓垮 API。併發管理對於即時應用程序尤為重要。您必須平衡並行請求的數量與應用程序的性能要求。 範例： 同時處理多位使用者的聊天機器人必須謹慎排隊請求，以保持在 8 個並行限制內。

根據您的使用情境選擇合適的模型

我們的 API 提供單一無審查的大型語言模型，針對一致且無限制的輸出進行最佳化。這種簡化設計消除了在不同模型變體之間進行選擇的需求。您無需在不同版本之間權衡速度、準確性與創造力之間的取捨。該模型針對成人內容與通用任務進行了調優。這使其成為需要一致語音與行為的應用的理想選擇。如果您需要專門用於圖像生成或嵌入的模型，則此 API 並不適合。我們專注於透過單一強大的無審查模型進行文本生成。這降低了複雜性並確保了可預測的性能。 優勢： 使用單一模型可大幅簡化您的整合與除錯流程。

串流回應：處理部分內容

透過伺服器發送事件（SSE）串流回應允許你接收正在生成的部分內容。這改善了感知延遲，特別是對於長回應。每個區塊都在最後一個區塊中包含 token 用量數據，允許你即時追蹤成本。實現串流客戶端需要有效地處理這些區塊。你必須連接 token 以重建完整回應。這種方法對於期望即時回饋的聊天應用程式至關重要。 程式碼： 使用官方 SDK 自動處理流式傳輸。它們為您管理 SSE 連接和數據塊處理。

串流也有助於管理記憶體使用量，因為您不需要等待整個回應才能顯示它。

除錯 API 錯誤與非預期行為

常見錯誤包括速率限制、無效的 API 金鑰以及格式錯誤的請求。如果您收到 429 錯誤，表示已超過速率限制。請檢查您的併發請求數與請求頻率。若出現 401 錯誤，請驗證您的 API 金鑰。確保其與您的儀表板顯示的金鑰相符。非預期的行為通常源於參數值設定錯誤。例如，設定無效的 temperature 或 top_p 值可能會導致問題。在發送請求前，請務必驗證您的參數。使用官方 SDK 可簡化錯誤處理流程。它們提供結構化的錯誤物件，更利於除錯。 提示： 記錄您的請求和回應以識別錯誤模式。這有助於您快速且準確地鎖定問題。

成本優化的最佳實踐

為優化成本，請減少提示詞中的 token 數量。使用精簡的語言並避免冗餘資訊。設定明確的 max_tokens 值以防止意外的過度生成。定期監控您的 token 使用量以保持在預算內。我們的預付信用系統按實際 token 使用量收費，因此您只需為實際使用的部分付費。錯誤與拒絕免費，因此您無需擔心信用額度浪費。使用串流可高效處理大型回應。這能減少應用程式等待回應的時間，從而提升整體效率。 策略： 為常見回應實作快取，以減少冗餘的 API 呼叫。這可顯著降低您的 token 消耗和成本。