要点
- 使用 /v1/chat/completions 接口以确保与现有 SDK 完全兼容并简化集成。
- 严格监控 100k token 的上下文窗口，以避免过早截断或意外成本。
- 实施健壮的错误处理以应对速率限制（RPM）和无审查模型的延迟变化。
- 请记住，没有过滤器意味着如果需要，你需要负责下游的内容审核。
模型定义
模型选择决定了应用程序的行为。对于无审查 AI用途，请选择经过训练的开放权重模型，以最大限度地减少在成人或争议话题上的拒绝。与标准的专有模型不同，这种类型的 LLM 不会应用基于企业政策的严格护栏，从而允许更忠实于用户提示词的回答。
检查模型是否原生支持函数调用。这对于需要结构化 JSON 输出或与外部 API 交互的应用至关重要。与 OpenAI API 负载格式的兼容性确保你可以无需重写集成层即可在供应商之间迁移。
上下文检查
100,000 token 的上下文窗口允许保持长对话或处理长文档而不会立即丢失信息。然而，更大的上下文并不意味着更高的智能；它只意味着更长的记忆。开发者应实现滑动窗口或摘要策略来管理历史增长。
- 输入 Token：计算对话历史加上当前提示词。
- 输出 Token：计算生成的响应。
实时监控 token 使用情况。超过 100k 限制会导致 API 错误或截断，具体取决于服务器实现。对于长聊天应用，考虑只发送最后 N 次交互以保持成本可预测。
Token 管理
无审查 AI 的成本与处理的 token 量成正比。模型按每百万输入 token 收取 $0.25，每百万输出 token 收取 $1.00。由于无过滤器模型的输出通常更长更复杂，输出成本可能显著超过输入成本。
在发送请求之前，在客户端实现 token 计数器。这允许在发送前估算响应的确切成本。为了优化，减少系统提示词的冗长，并在可能时使用函数返回结构化数据而不是自然语言，因为 JSON 比自然语言更紧凑。
请求限制
为了确保稳定性，服务对每个 API 密钥实施每分钟 300 次请求（RPM）的限制，最大请求负载为 8 MB。在使用高峰期，超过 RPM 会导致 429 错误（请求过多）。开发者应实现指数退避重试。
考虑使用消息队列来平滑高并发应用的需求。如果需要更高的吞吐量，计划将负载分布在多个 API 密钥上，或增加用户感知的延迟以尊重基础设施的自然限制。
API 密钥安全
你的 API 密钥是无审查 AI 访问的唯一凭证。它不会自动过期，但可以随时撤销。将密钥保存在服务器的环境变量中，切勿在前端代码或公共存储库中暴露它。
如果怀疑被滥用，请立即生成新密钥。这将使旧密钥失效并切断任何正在使用它的客户端的访问。如果平台允许详细监控，请启用使用量警报，以快速检测泄露的机器人或脚本。
错误处理
常见错误包括 429 Too Many Requests（速率限制）、400 Bad Request（格式无效）和 500 Internal Server Error。始终处理网络错误和超时。无审查模型偶尔会返回不完整的回答或更频繁的幻觉，因为训练数据的筛选较少。
实现回退逻辑。如果响应失败，请尝试使用略微不同的 temperature 或减少上下文大小。向最终用户显示原始的技术错误可能会令人困惑；务必将错误代码翻译为友好且可操作的消息。
流式输出和实时
支持服务器发送事件（SSE）流式输出，允许你逐 token 显示响应，从而改善用户的延迟感知。这对于实时聊天应用至关重要。
要实现流式输出，配置你的 HTTP 客户端以在数据到达时读取数据块。这减少了感知的初始等待时间（TTFT）。请记住管理客户端状态，以防止连接断开并需要重新连接时 token 重复。流式输出不会改变收取的价格，只改变数据交付方式。
函数调用
函数调用允许模型决定何时以及如何调用外部工具。使用无限制 API，模型在构建函数参数方面可能更具创造性。在服务器端执行之前，确保验证接收到的参数。
为你的函数定义清晰的 JSON 模式。无审查不会影响 JSON 的技术准确性，但可能会影响模型解释模糊上下文的创造性。广泛测试模型可能发明未在模式中定义参数的极端情况。
数据隐私
虽然模型不过滤内容，但请查看用于训练的数据使用政策。该服务声称提示词不用于训练模型，这对企业或敏感应用至关重要。隐私由服务的简洁性保证：账户仅需电子邮件和密码。
对于高度敏感的数据，如果隐私至关重要，建议在发送到 API 之前实现一层混淆。请记住，模型会根据发送的提示词生成文本；如果您发送一个名字，它可能会出现在回复中。无审查意味着模型不会自动屏蔽个人身份信息 (PII)。
