01 它是干嘛的
Bedrock 的定位是「模型超市」:把多家公司的顶尖大模型摆在一个货架上,用统一的接口调用。你不用分别注册账号、分别对接接口、分别学习文档,只要在同一个平台上按需挑选。对企业来说更关键的两点是:数据不会被用来训练模型,以及它与云上的权限体系天然打通,谁能在哪个项目里用哪个模型都可以精确管控。
02 为什么会有它
想用大模型,却要先面对一堆各不相同的厂商
大模型火起来之后,企业很快发现一件麻烦事:市面上的模型来自很多不同公司,每一家的接口格式、密钥体系、计费方式都不一样。想同时用两三家模型,就要维护两三套对接代码,改起来牵一发动全身。
还有一种顾虑更让人放不下心:把公司的内部资料、客户数据发给模型,会不会被拿去训练、会不会泄漏出去?对金融、医疗这类行业来说,这不是技术细节,而是能不能用的前提。
Bedrock 的思路是把这两件事一起解决。它把多家模型集中到一个平台上,接口统一,换模型就像换一个参数;同时明确承诺数据不会被用于训练,并且直接复用云上已有的权限体系——公司里谁能访问哪个模型、能用多少,全都沿用原有的管理方式。企业的接入成本因此从「对接好几家公司」变成了「对接一个平台」。
03 它怎么工作
Bedrock 的原则是「统一入口、按需路由」:你的程序只面对一套接口,平台在背后完成身份校验、选择模型、调用推理并流式返回结果,全过程数据留痕可控。
一次模型调用在平台内部经过哪些环节
- 1① 程序提出统一请求
你按统一格式提交一段提问,同时指定要用哪个模型。换模型只需改一个名字,其余代码不动。
- 2② 通过权限体系校验身份
调用者必须持有相应权限才能使用某个模型,这条规则沿用云上统一的门禁系统,无需另建一套。
- 3③ 路由到目标模型并推理
平台把请求送往被选中的模型完成推理,模型运行在受控的环境中,数据不会被用于训练。
- 4④ 结果以流式方式返回
回答通常一个字一个字地边生成边返回,用户看到的是逐字浮现的效果,而不是长时间等待后一次性出现。
- 5⑤ 记录用量便于管理与计费
每次调用消耗了多少、花了多少都被记录,可按项目与团队归集,方便成本控制与审计。
04 谁在用它
客服问答、文档总结、内容生成等功能,用统一接口接入,避免为每家模型单独开发。
金融、医疗等不适合把数据交给不受控渠道的场景,看重的是数据不用于训练的承诺。
同一个需求用不同模型各跑一遍,比较效果与成本,再决定长期使用哪一家。
把不同模型的使用权限分配给不同团队,沿用既有的账号与权限体系,管理简单清晰。
把公司内部文档先检索出相关片段,再连同问题一起交给模型作答,答案更贴合业务。
05 怎么用
最省事的路径是先申请开通模型访问权限,再写几行代码发起第一次调用。
- 01在控制台进入模型服务页面,申请开通需要使用的模型(部分模型需要单独申请权限)。
- 02为调用方配置权限,允许它使用指定的模型,遵循最小权限原则逐项添加。
- 03用官方提供的开发工具包写一段最简单的调用,先确认能收到回答。
- 04把提问与回答接入你的业务系统,注意加上超时与出错时的兜底处理。
- 05需要基于内部资料回答时,先建立资料检索环节,把相关内容作为提示的一部分一并提交。
- 06持续观察用量与费用,必要时通过缓存或换用更小的模型来控制成本。
import boto3, json
# 凭证来自云上权限体系,无需把密钥写死在代码里
client = boto3.client('bedrock-runtime', region_name='us-east-1')
body = json.dumps({
'anthropic_version': 'bedrock-2023-05-31',
'max_tokens': 200,
'messages': [{'role': 'user', 'content': '用一句话解释什么是对象存储'}]
})
# 换用其他模型只需修改 modelId,调用方式完全一致
resp = client.invoke_model(
modelId='anthropic.claude-3-sonnet-20240229-v1:0',
body=body
)
print(json.loads(resp['body'].read()))避坑提示
- !调用大模型是按输入输出的字数计费的,输入越长越贵;把无关内容塞进提问会明显抬高账单。
- !模型返回的内容不一定可靠,涉及事实、金额、医疗等关键场景必须有人工复核环节。
- !不是所有任务都要用最大的模型,分类、摘要等简单任务用较小的模型效果够用且便宜得多。
06 关键概念
- 基础模型
- 经过大规模训练、能完成多种通用任务的大模型,是大楼里可以随时取用的公共设施。
- 推理
- 让训练好的模型对输入给出输出的过程,也就是「使用模型」这件事本身。
- 流式返回
- 回答一个字一个字地边生成边送出,用户不必等全部完成才开始看。
- 数据不用于训练
- 你提交的内容不会被拿去做模型训练,这是企业选择平台时最在意的承诺之一。
- 检索增强
- 先从企业资料里找出相关片段,再让模型据此作答,减少凭空编造。