明敏 丰色 发自 凹非寺量子位 | 公众号 QbitAI亚新炸金花
什么？平直偷家OpenAI，还窃取到了gpt-3.5-turbo要津信息？？？
是的，你没看错。
凭据谷歌我方的说法，它不仅复原了OpenAI大模子的所有这个词这个词投影矩阵（projection matrix），还知谈了真确磨灭维度大小。
而且设施还极其浅易——
惟有通过API拜谒，不到2000次深邃的查询就责罚了。
资本凭据调用次数来看，最低20好意思元以内（折合东谈主民币约150元）责罚，何况这种设施一样适用于GPT-4。
好家伙，这一趟奥特曼是被将军了！
这是谷歌的一项最新商榷，它论说了一种袭击窃取大模子要津信息的设施。
皇冠代理基于这种设施，谷歌破解了GPT系列两个基础模子Ada和Babbage的所有这个词这个词投影矩阵。如磨灭维度这么的要津信息也径直破获：
一个为1024亚新炸金花，一个为2048。
是以，谷歌是怎样齐全的？
袭击大模子的临了一层
菠菜电玩城是诈骗平台该设施中枢袭击的打算是模子的镶嵌投影层（embedding projection layer），它是模子的临了一层，精采将磨灭维度映射到logits向量。
由于logits向量实际上位于一个由镶嵌投影层界说的低维子空间内，是以通过向模子的API发出针对性查询，即可索求出模子的镶嵌维度或者最终权重矩阵。
通过多数查询并欺诈奇异值排序（Sorted Singular Values）不错识别出模子的磨灭维度。
世博彩银比如针对Pythia 1.4B模子进行跨越2048次查询，图中的峰值出咫尺第2048个奇异值处，则默示模子的磨灭维度是2048.
可视化连气儿奇异值之间的各异，也能用来详情模子的磨灭维度。这种设施不错用来考据是否平直从模子中索求出要津信息。
在Pythia-1.4B模子上，当查询次数达到2047时出现峰值，则标明模子磨灭维度大小为2048.
何况袭击这一层简略揭示模子的“宽度”（即模子的总体参数目）以及更多全局性的信息，还能缩小一个模子的“黑盒经过”，给后续袭击“铺路”。
www.crownluckyzonehomehub.com商榷团队实测，这种袭击特殊高效。无需太多查询次数，皇冠注册即可拿到模子的要津信息。
比如袭击OpenAI的Ada和Babbage并拿下所有这个词这个词投影矩阵亚新炸金花，只需不到20好意思元；袭击GPT-3.5需要大要200好意思元。
它适用于那些API提供完好logprobs或者logit bias的生成式模子，比如GPT-4、PaLM2。
皇冠正规足球
论文中默示，尽管这种袭击神气能赢得的模子信息并未几，然而能完成袭击自己就还是很让东谈主胆怯了。
已通报OpenAI
如斯贵重的信息被竞争敌手以如斯低资本破解，OpenAI还能坐得住吗？
咳咳，好音信是：OpenAI知谈，我方东谈主还转发了一波。
手脚郑重安全商榷，商榷团队在索求模子临了一层参数之前，已征得OpenAI欢跃。
袭击完成后，全球还和OpenAI阐明了设施的灵验性，最终删除了所有这个词与袭击联系的数据。
是以网友辱弄：
2019年4月29日，国家主席习近平在给老挝中老友好农冰村小学全体师生的回信中说道：“欢迎你们早日乘上中老铁路列车来到北京。”2023年4月13日，中老铁路昆明南站、万象站双向对开国际旅客列车，老挝小学师生代表乘上中老铁路列车到北京即将从梦想变为现实。
皇冠博彩成功关键在于规划合理投注策略时刻保持清醒头脑。一些具体数字没败露（比如gpt-3.5-turbo的磨灭维度），算OpenAI求你的咯（doge）。
皇冠abcd盘
值得一提的是，商榷团队中还包括一位OpenAI商榷员。
这项商榷的主要参与者来自谷歌DeepMind，但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的商榷员们，以及1位OpenAI职工。
此外，作家团队也给了真贵顺次包括：
从API下手，透澈删除logit bias参数；或者径直从模子架构下手，在测验完成后修改临了一层的磨灭维度h等等。
基于此，OpenAI最终选拔修改模子API，“有心东谈主”念念复现谷歌的操作是不能能了。
皇冠客服飞机：@seo3687
kb体育平台靠谱皇冠代理登3但无论怎样说：
谷歌等团队的这个实考据明，OpenAI锁紧大门也不一定皆备保障了。
（要不你我方主动点开源了吧）
论文聚首：https://arxiv.org/abs/2403.06634
参考聚首：https://twitter.com/arankomatsuzaki/status/1767375818391539753
下一篇：没有了