OpenAI 速率限制建议
admin
2023-08-03 06:57:14
0
  • 点击进入:ChatGPT工具插件导航大全

请在此处查看我们更新的指南。

每个组织都受速率限制的约束,速率限制决定了每秒可以发送多少请求。请求已达到此速率限制。

速率限制可以量化,这意味着它们在更短的时间内强制执行(例如,60,000 个请求/分钟可以强制执行为 1,000 个请求/秒)。发送过长的短暂请求或上下文 (prompts+max_tokens) 会导致速率限制错误,即使您在技术上低于每分钟速率限制也是如此。

我该如何解决?

  • 在您的代码中包含指数退避逻辑。这将捕获并重试失败的请求。

  • 对于令牌限制

    • 减少max_tokens以匹配完成的大小。使用需求是根据此值估算的,因此降低它会降低您意外收到速率限制错误的可能性。例如,如果您的提示创建大约 400 个令牌的完成,则 max_tokens 值应该大约相同大小。

    • 优化您的提示。您可以通过缩短说明、删除多余的单词和删除多余的示例来做到这一点。您可能需要处理您的提示并在这些更改后对其进行测试,以确保它仍然可以正常工作。较短提示的额外好处是可以降低您的成本。如果您需要帮助,请告诉我们。

  • 对于请求限制

    • 在一个数组中批处理你的提示。这将减少您需要提出的请求数量。prompt 参数最多可以包含 20 个不同的提示。

ChatGPT中国体验版点击进入:https://yundongfang.com/chatgpt.php

相关内容

热门资讯

Windows 11 和 10... Windows 11/10 文件夹属性中缺少共享选项卡 – 已修复 1.检查共享选项卡是否可用 右键...
Radmin VPN Wind... Radmin VPN 是一款免费且用户友好的软件,旨在牢固地连接计算机以创建一个有凝聚力的虚拟专用网...
事件 ID 7034:如何通过... 点击进入:ChatGPT工具插件导航大全 服务控制管理器 (SCM) 负责管理系统上运行的服务的活动...
如何修复 Steam 内容文件... Steam 内容文件锁定是当您的 Steam 文件无法自行更新时出现的错误。解决此问题的最有效方法之...
Hive OS LOLMine... 目前不清退的交易所推荐: 1、全球第二大交易所OKX欧意 国区邀请链接: https://www.m...
如何在电报Telegram中隐... 点击进入:ChatGPT工具插件导航大全 在Android上的电报中隐藏您的电话号码 您可以通过切换...
在 iCloud 上关闭“查找... 如果您是 Apple 的长期用户,您肯定会遇到过 Find My 应用程序,它本机安装在 iPhon...
在 Windows 11 中打... 什么是链路状态电源管理? 您可以在系统控制面板的电源选项中看到链接状态电源管理。它是 PCI Exp...
Hive OS 部署 PXE ... 目前不清退的交易所推荐: 1、全球第二大交易所OKX欧意 国区邀请链接: https://www.m...
farols1.1.501.0... faro ls 1.1.501.0(64bit)可以卸载,是一款无需连接外部PC机或笔记本计算机即可...