Perplexity推出,可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等
Perplexity推出,可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等
- pplx-api易于使用,开发者可以在几分钟内通过REST API整合先进的开源模型。
- pplx-api推理速度很快,比其他解决方案的延迟降低了2-3倍。
- pplx-api基础设施经过验证,可以承载产品级流量。
- pplx-api采用NVIDIA TensorRT-LLM和AWS A100 GPU等先进软硬件,实现了优化。
- pplx-api已用于Perplexity的产品中,相比外部API每年节省了62万美元成本。
- pplx-api兼容OpenAI API,可以轻松集成到现有应用中。
- 未来pplx-api将支持更多定制和开源模型。