OpenAI DevDayで新機能を発表
ChatGPTの音声会話モードをAPI提供、プロンプトキャッシングとモデル蒸留でパフォーマンスUP&コスパ改善
KOJI
2024/10/03
OpenAIが開発者向けイベントOpenAI DevDayでいくつかの新機能やAPIを発表したので、そのうちの特徴的な3つを紹介します。
1. Realtime APIリリース
ChatGPT Advanced Voiceのように音声会話のAPIがリリースされました。ほかのアプリに音声会話モードを組み込めるようになります。
- 低遅延・マルチモーダルな体験を構築可能なRealtime APIを公開
- ChatGPTの高度な音声モードと同様の自然な音声対話をサポート
主な特徴
- 単一のAPI呼び出しで自然な会話体験を構築可能
- 関数呼び出し機能によるアクションのトリガーや新しいコンテキストの取り込みが可能
価格
さすがに音声は高いですね。数カ月後には半額など安くなっていく流れがあるのでコストも時間の問題かもしれない。
- テキスト入力トークン: 100万トークンあたり$5
- テキスト出力トークン: 100万トークンあたり$20
- 音声入力: 100万トークンあたり$100(約$0.06/分)
- 音声出力: 100万トークンあたり$200(約$0.24/分)
2. プロンプトキャッシングの導入
OpenAIがプロンプトキャッシングの導入を発表しました。
プロンプトキャッシングとは、AIとの会話をより速く、安く、そして賢くする新しい技術です。Claudeが先んじて導入していた機能です。
- AIに長い説明や指示を与えるとき、それを「キャッシュ」という一時的な場所に保存します。
- 次に同じAIと話すとき、保存した内容を再利用できます。
概要
- 同じコンテキストを繰り返し使用する場合に有効
- コスト削減と遅延時間短縮が可能
メリット
- 最近使用された入力トークンを再利用
- コストを50%削減
- プロンプト処理時間を短縮
価格
APIコストの節約になるのは事業者負担が減り、今後の利用拡大にも寄与する可能性を秘めています。
- キャッシュされたプロンプトは割引価格で提供
- 未キャッシュ入力トークン、キャッシュ済み入力トークン、出力トークンで価格が異なる
3.モデル蒸留の導入
OpenAIが開発者向けに新しいモデル蒸留機能を導入しました。モデル蒸留は、高性能モデルの出力を使用して、コスト効率の高いモデルを調整するワークフローです。
- 高性能モデルの出力を使用して、小規模で効率的なモデルをファインチューニングします
- 特定のタスクで高度なモデルの性能に匹敵
- モデル蒸留により大幅なコスト削減が可能
2も3もコスト効率を向上しながら、パフォーマンスUP・スピードUPに影響ある機能ですね。これらはAPIがあらゆるWebアプリやSaaSにシームレスに組み込まれAIが拡張するために必要なプロセスの一環でしょう。そして現在は学習・推論に膨大なエネルギーを使いますが、上記のように効率化することでエネルギー効率も向上する狙いがあるのではないでしょうか。
OpenAI、Claude、Gemini、Llamaの覇権争いは、まだ始まったばかりだ。競争の過程においてAIのパフォーマンスは劇的に改善され続けるのだろう。
2024年10月のバックナンバー
¥600 / 税込み
収録されている記事
150人以上の方達が購読中
いつでも購読解除可能です