了解Portkey：可輕松編排大模型的開(kāi)源AI網(wǎng)關(guān) 原創(chuàng)
開(kāi)源AI框架的爆發(fā)式增長(zhǎng)，為開(kāi)發(fā)者在部署AI模型方面提供了前所未有的靈活性。Portkey是一款開(kāi)源AI網(wǎng)關(guān)，能夠?yàn)槎嗉褹I服務(wù)商提供統(tǒng)一API以簡(jiǎn)化大模型編排，顯著減少在應(yīng)用程序中集成模型的障礙。除了大語(yǔ)言模型（LLM）之外，Portkey還支持視覺(jué)、音頻（文生音頻和語(yǔ)音轉(zhuǎn)文本）、圖像生成及其他多模態(tài)生成式AI模型。
項(xiàng)目概述——Portkey AI Gateway?
Portkey AI網(wǎng)關(guān)屬于開(kāi)源項(xiàng)目及托管服務(wù)，旨在簡(jiǎn)化多模型集成體驗(yàn)。它提供靈活的API，允許開(kāi)發(fā)者在不同服務(wù)商的商業(yè)模型間輕松切換，包括OpenAI、Anthropic、Azure OpenAI、開(kāi)源推理服務(wù)（如 Hugging Face、Groq和Fireworks AI）以及在Ollama上運(yùn)行的本地模型。
作為統(tǒng)一的中間件，Portkey可實(shí)現(xiàn)：
- 跨多服務(wù)商無(wú)縫切換AI模型；?
- 高效速率限制與緩存，優(yōu)化API調(diào)用；?
- 實(shí)現(xiàn)大規(guī)模AI驅(qū)動(dòng)應(yīng)用程序的可擴(kuò)展性；?
- 簡(jiǎn)化多AI后端的請(qǐng)求管理。?
Portkey特別適合強(qiáng)調(diào)靈活性與成本效益的AI驅(qū)動(dòng)類應(yīng)用程序，成為其與不同AI模型交互的優(yōu)選項(xiàng)。
Portkey解決了什么問(wèn)題？?
對(duì)于從事AI應(yīng)用程序的開(kāi)發(fā)者來(lái)說(shuō)，多模型的集成和管理一直是個(gè)挑戰(zhàn)。傳統(tǒng)方法往往涉及以下幾個(gè)痛點(diǎn)：
- 特定大模型服務(wù)商鎖定；?
- 難以對(duì)不同模型的性能進(jìn)行比較；?
- 缺乏內(nèi)置的負(fù)載均衡和故障轉(zhuǎn)移機(jī)制；?
- 不同服務(wù)商間的API不一致。?
目前的大模型集成環(huán)境往往支離破碎且效率低下，導(dǎo)致開(kāi)發(fā)者面臨多重挑戰(zhàn)：
- 管理多家服務(wù)商的身份驗(yàn)證與API密鑰；?
- 實(shí)現(xiàn)自定義負(fù)載均衡邏輯；?
- 確保不同模型間的響應(yīng)格式保持一致；?
- 在保持性能的同時(shí)優(yōu)化成本。?
這些限制尤其影響到開(kāi)發(fā)人員、AI研究人員和構(gòu)建大模型驅(qū)動(dòng)應(yīng)用程序的企業(yè)。對(duì)組織來(lái)說(shuō)，管理多家大模型服務(wù)商往往涉及極高的集成復(fù)雜性，且缺乏內(nèi)置優(yōu)化功能。
深入了解Portkey AI網(wǎng)關(guān)?
Portkey AI網(wǎng)關(guān)是一套開(kāi)源庫(kù)，可簡(jiǎn)化Python開(kāi)發(fā)者的大模型集成。它提供一個(gè)擁有統(tǒng)一API的強(qiáng)大框架，可實(shí)現(xiàn)與多家大模型服務(wù)商的無(wú)縫交互。
Portkey的核心功能，在于抽象出各大模型服務(wù)商間的差異。它允許開(kāi)發(fā)者輕松在模型間切換，或?qū)崿F(xiàn)負(fù)載均衡等高級(jí)功能，且無(wú)需更改現(xiàn)有應(yīng)用程序代碼。
該網(wǎng)關(guān)目前支持多家大模型服務(wù)商：
- Anthropic?
- Azure OpenAI?
- 谷歌?
- Groq?
- OpenAI?
Portkey AI網(wǎng)關(guān)還擁有以下幾項(xiàng)獨(dú)特功能：
- 跨服務(wù)商的統(tǒng)一API；?
- 內(nèi)置負(fù)載均衡；?
- 輕松切換服務(wù)商；?
- 一致的響應(yīng)格式。?
Portkey AI網(wǎng)關(guān)主要用例?
- 多服務(wù)商集成：Portkey AI網(wǎng)關(guān)允許開(kāi)發(fā)者輕松將多家大模型服務(wù)商集成至自己的應(yīng)用程序當(dāng)中，使得應(yīng)用程序能夠：
- 使用OpenAI的GPT-4執(zhí)行復(fù)雜推理任務(wù)；?
- 利用Groq的Llama3-70B-8192縮短響應(yīng)時(shí)間；?
- 實(shí)現(xiàn)回退機(jī)制以確保高可用性。?
- 根據(jù)自定義權(quán)重在多家服務(wù)商間分配請(qǐng)求；?
- 出現(xiàn)錯(cuò)誤時(shí)，自動(dòng)故障轉(zhuǎn)移至替代服務(wù)商；?
- 將請(qǐng)求路由至最具成本效益的服務(wù)商以優(yōu)化成本。?
- 為不同大模型服務(wù)商提供一致的API；?
- 可在測(cè)試與比較模型間輕松切換；?
- 簡(jiǎn)化API密鑰與身份驗(yàn)證管理。?
- 負(fù)載均衡與優(yōu)化：這套庫(kù)允許開(kāi)發(fā)者實(shí)現(xiàn)復(fù)雜的負(fù)載均衡策略，例如：?
- 簡(jiǎn)化開(kāi)發(fā)流程：Portkey AI網(wǎng)關(guān)通過(guò)以下方式簡(jiǎn)化了開(kāi)發(fā)流程：?
如何集成Portkey AI Gateway?
下面我們通過(guò)代碼示例具體介紹Portkey的功能。
單服務(wù)商基礎(chǔ)用法：
from portkey_ai import Portkey
import os
client = Portkey(
provider="openai",
Authorization=os.environ["OPENAI_API_KEY"]
)
response = client.chat.completions.create(
messages=[{"role": "user", "content": "What's the meaning of life?"}],
model="gpt-4o-mini"
)
print(response.choices[0].message.content)多服務(wù)商用法：
from portkey_ai import Portkey
import os
# OpenAI client
openai_client = Portkey(
provider="openai",
Authorization=os.environ["OPENAI_API_KEY"]
)
response = openai_client.chat.completions.create(
messages=[{"role": "user", "content": "What's the meaning of life?"}],
model="gpt-4o-mini"
)
print("From OpenAI:")
print(response.choices[0].message.content)
# Groq client
groq_client = Portkey(
provider="groq",
Authorization=os.environ["GROQ_API_KEY"]
)
response = groq_client.chat.completions.create(
messages=[{"role": "user", "content": "What's the meaning of life?"}],
model="llama3-70b-8192"
)
print("From Groq:")
print(response.choices[0].message.content)實(shí)現(xiàn)負(fù)載均衡：
from portkey_ai import Portkey
import os
lb_config = {
"strategy": { "mode": "loadbalance" },
"targets": [{
"provider": 'openai',
"api_key": os.environ["OPENAI_API_KEY"],
"weight": 0.1
},{
"provider": 'groq',
"api_key": os.environ["GROQ_API_KEY"],
"weight": 0.9,
"override_params": {
"model": 'llama3-70b-8192'
},
}],
}
client = Portkey(config=lb_config)
response = client.chat.completions.create(
messages=[{"role": "user", "content": "What's the meaning of life?"}],
model="gpt-4o-mini"
)
print(response.choices[0].message.content)實(shí)現(xiàn)條件路由：
from portkey_ai import Portkey
import os
openai_api_key = os.environ["OPENAI_API_KEY"]
groq_api_key = os.environ["GROQ_API_KEY"]
pk_config = {
"strategy": {
"mode": "conditional",
"conditions": [
{
"query": {"metadata.user_plan": {"$eq": "pro"}},
"then": "openai"
},
{
"query": {"metadata.user_plan": {"$eq": "basic"}},
"then": "groq"
}
],
"default": "groq"
},
"targets": [
{
"name": "openai",
"provider": "openai",
"api_key": openai_api_key
},
{
"name": "groq",
"provider": "groq",
"api_key": groq_api_key,
"override_params": {
"model": "llama3-70b-8192"
}
}
]
}
metadata = {
"user_plan": "pro"
}
client = Portkey(config=pk_config, metadata=metadata)
response = client.chat.completions.create(
messages=[{"role": "user", "content": "What's the meaning of life?"}]
)
print(response.choices[0].message.content)上述示例使用元數(shù)據(jù)值user_plan以確定使用哪個(gè)模型進(jìn)行查詢。這對(duì)通過(guò)免費(fèi)增值計(jì)劃提供AI功能的SaaS服務(wù)商特別適用。
使用Portkey AI網(wǎng)關(guān)進(jìn)行大模型集成?
Portkey代表大模型集成的一項(xiàng)重大創(chuàng)新。它解決了管理多家服務(wù)商及優(yōu)級(jí)性能等方面的關(guān)鍵挑戰(zhàn)。通過(guò)提供一個(gè)能夠與多家服務(wù)商無(wú)縫交互的開(kāi)源框架，該項(xiàng)目填補(bǔ)了當(dāng)前AI開(kāi)發(fā)流程中的重大空白。
該項(xiàng)目依托社區(qū)協(xié)作實(shí)現(xiàn)了蓬勃發(fā)展，并歡迎來(lái)自世界各地的開(kāi)發(fā)者做出貢獻(xiàn)。憑借活躍的GitHub社區(qū)與開(kāi)放討論空間，Portkey鼓勵(lì)開(kāi)發(fā)者參與并擴(kuò)展其功能。Portkey項(xiàng)目的透明開(kāi)發(fā)方法與開(kāi)源許可，也向個(gè)人及企業(yè)團(tuán)隊(duì)使用敞開(kāi)了懷抱。
Portkey還提供其AI網(wǎng)關(guān)的商業(yè)實(shí)現(xiàn)，可為企業(yè)提供管理大模型集成的強(qiáng)大解決方案。其主要功能包括針對(duì)250多家服務(wù)商的統(tǒng)一API、負(fù)載均衡、條件路由、自動(dòng)重試與回退、語(yǔ)義緩存及多模態(tài)支持等。
總結(jié)?
Portkey AI網(wǎng)關(guān)將易用性、完備的功能與積極的社區(qū)支持融為一體，對(duì)于希望將多家大模型服務(wù)商集成至應(yīng)用程序中的開(kāi)發(fā)者來(lái)說(shuō)極具價(jià)值。它能夠以托管服務(wù)的形式交付，起價(jià)為每月49美元，并提供免費(fèi)層用于原型設(shè)計(jì)和測(cè)試。通過(guò)促進(jìn)與各服務(wù)商的無(wú)縫交互，Portkey為更靈活、更強(qiáng)大的AI驅(qū)動(dòng)應(yīng)用程序奠定了重要基礎(chǔ)。
原文標(biāo)題：??Portkey: An open-source AI gateway for easy LLM orchestration??，作者：Janakiram MSV
