OpenAI在去年11月召开的DevDay活动中,推出了GPT-4 Turbo,最多支持12.8万个token:输入token价格是GPT-4的三分之一,输出token价格是其二分之一。
OpenAI近日发布新闻稿,宣布GPT-4 Turbo速率上限翻番,每分钟最多可处理150万个token(TPM),而且完全取消了每日限制。
OpenAI为了防止滥用、确保公平性和管理基础架构负载,限制企业访问API的速率。这种限制可以防止恶意超载应用程序接口,确保所有用户都能公平访问,并通过节流指定时间内允许的请求数量,在高需求期间保持平稳的性能。(IT之家)