OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

admin1年前笔记117

现在,GPT-3.5 Turbo 支持自定义微调了!

只需上传自己的数据,就可以运行专属的定制大模型。

开发者狂喜!不少人惊呼:Awesome!

image.png

早期测试表明,经过微调的 GPT-3.5 Turbo 版本在某些任务中甚至可以超越 GPT-4。

更新之余,OpenAI 还直接明示了定价计划,微调费用主要分为初始训练费用和使用费用。

一个具有 10 万 tokens 训练数据集的微调工作(3 个 epoch 训练)成本大概在 2.40 美元。

此外,OpenAI 还透露了 GPT-4 微调将于今年秋天推出。

不过也有人不吃这套,吐槽微调成本太高,其生成成本是基础模型的 8 倍,必须要按照他们所说 “将提示大小减小 90%”,才能从中获取效益。

image.png

开发者自己进行监督微调

OpenAI 首先给出了指南手册,微调可以用来改进这些模型性能。

  • 可操纵性的改进,模型能够更好地遵循指令。比如输出简洁回答或始终以给定的语言响应。

  • 一致的格式化响应,开发人员可用微调将用户提示转换为高质量 JSON 代码片段,随后用于自己的系统。

  • 定制语气,微调可以更好磨炼模型输出的质感,比如语气,让它更适合企业品牌的声音。

除了提高性能之外,还能缩短提示时间,确保类似性能。另外,微调目前仅支持处理 4000 tokens,这也是此前微调型号的两倍。16k tokens 微调将于今年秋季推出。

早期测试人员通过对模型本身指令进行微调,加快了 API 调用还降低成本,让 prompt 减少了 90%。

对函数调用结合和 gpt-3.5-turbo-16k 的微调支持将在今年秋季晚些时候推出。

具体微调步骤,分为四步:

准备数据

image.png

上传文件

image.png

创建微调作业

image.png

使用微调模型

image.png

OpenAI 透露,未来他们将推出微调 UI,这样轻松访问正在进行中的工作。

定价方面,分为训练成本和使用成本。

  • 训练:0.008 美元 / 1000 tokens;

  • 使用输入:0.012 美元 / 1000 tokens;

  • 使用输出:0.016 美元 / 1000 tokens。


不过可以看到的是,价格确实比基础模型高了不少。

更新了 GPT-3 模型

与此同时,OpenAI 还在 API 端口更新了 GPT-3 模型:babbage-002 和 davinci-002。

这些模型都可以用新的 API 端点进行微调。

原始基础模型 (ada, babbage, curie, 和 davinci) 将于明年 *(2024 年)1 月 4 日关闭。

好了,感兴趣的朋友可以开始定制自己的 GPT-3.5Turbo 了。




相关文章

FTP、FTPS 与 SFTP 简介

FTP、FTPS 与 SFTP 简介

FTPFTP 即 文件传输协议(英语:File Transfer Protocol 的缩写)是一个用于计算机网络上在客户端和服务器之间进行文件传输的应用层协议。完整的 FTP 是由 FTP 服务器 和...

如何在Linux上初始化USB设备

如何在Linux上初始化USB设备

恢复损坏的 USB 设备至初始状态Linux 系统磁盘管理器警告:接下来的操作会将你设备上的所有数据格式化。无论是上面提及的什么原因,最终的结果是我们无法继续使用这个设备。所以这里有一个恢复...

到底什么是AI框架?AI框架有什么用?

到底什么是AI框架?AI框架有什么用?

AI框架作用深度学习范式主要是通过发现经验数据中,错综复杂的结构进行学习。通过构建包含多个处理层的计算模型(网络模型),深度学习可以创建多个级别的抽象层来表示数据。例如,卷积神经网络CNN可以使用大量...

大数据下的企业安全管理平台分析

大数据下的企业安全管理平台分析

一、简介当前计算机网络与信息安全领域,正面临着一场全新的挑战。一方面,伴随大数据和云计算时代的到来,安全问题正在变成一个大数据问题,企业和组织的网络及信息系统每天都在产生大量的安全数据,并且产生的速度...

ClashX配置V2ray教程

ClashX配置V2ray教程

ClashX介绍Clash 是一个使用 Go 语言编写、基于规则的跨平台代理核心程序。Clash目前有Windows、MacOS、Android等多个平台的GUI程序,支持SS/V2ray/...

HTTP 报文详解

报文的语法所有的 HTTP 报文都可以分为两类:请求报文和响应报文。请求报文会向 Web 服务器请求一个动作,响应报文会将请求的结果返回给客户端。请求和响应报文的基本报文结构相同请求报文的格式:<...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。