GPT を ファインチューニング（fine tuning) してみた

OpenAIのテキスト生成モデルは、膨大な量のテキストで事前にトレーニングされています。モデルを効果的に使うために、GPTはプロンプトに指示や、時にはいくつかの例を含める。タスクを実行する方法を示すためにデモンストレーションを使用することは、しばしば “数ショット学習 “と呼ばれます。

ファインチューニングは、プロンプトに収まるよりも多くの例でトレーニングすることで、数発学習を改善する。いったんモデルが微調整されれば、プロンプトにそれほど多くの例を提供する必要はなくなる。これによりコストを削減し、より低レイテンシーのリクエストを可能にします。

ファインチューニングは、APIを通じて利用可能なモデルから、以下を提供することでより多くのものを引き出します:

• プロンプトよりも高品質な結果
• プロンプトに収まるより多くの例でトレーニング可能
• プロンプトの短縮によるトークンの節約
• 待ち時間の少ないリクエスト

ハイレベルなファインチューニングには、以下のステップが含まれます：

1. トレーニングデータの準備とアップロード
2. 新しいファインチューニング・モデルをトレーニングする
3. 結果を評価し、必要に応じてステップ1に戻る。
4. 微調整したモデルを使用する

一般的な使用例

OpenAIのテキスト生成モデルを微調整することで、特定の用途により適したものにすることができるが、それには時間と労力を慎重に投資する必要がある。

OpenAI

一般的な使用例:

• スタイル、トーン、フォーマットの設定
• アウトプットの信頼性向上
• 複雑なプロンプトに従わない場合の修正
• 多くのエッジケースを特定の方法で処理する
• プロンプトで表現するのが難しい新しいスキルやタスクの実行
• コストと待ち時間の削減

モデル＋データ形式

現在、以下のモデルでファインチューニングが可能です：

• gpt-3.5-turbo-1106 (おすすめ)
• gpt-3.5-turbo-0613
• babbage-002
• davinci-002
• gpt-4-0613 (実験的)

GPT-4のファインチューニングは、実験的なアクセスプログラムとなっています。対象となるユーザーは、ファインチューニングの新規ジョブを作成する際に、ファインチューニングUIからアクセスをリクエストすることができます。

OpenAI

データ形式

• gpt-3.5-turbo

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

• babbage と devinci:

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

モデルを微調整するには、少なくとも10個の例を提供する必要があります。通常、gpt-3.5-turboで50から100のトレーニング例でファインチューニングを行うことで、明確な改善が見られますが、適切な数は正確なユースケースによって大きく異なります。

OpenAI

手数料

cost = 1kトークンあたりの基本コスト * 入力ファイルのトークン数  *  学習エポック数

• チェックフォーマット＋見積もり: Code

トークン制限

トークンの上限は、選択するモデルによって異なる。

gpt-3.5-turbo-1106では、コンテキストの最大長は16,385なので、各トレーニング例も16,385トークンに制限されます。gpt-3.5-turbo-0613では、各トレーニング例は4,096トークンに制限されます。

デフォルトの長さより長い例は、訓練例の最後からトークンを削除する最大コンテキスト長に切り詰められます。

トレーニング例全体がコンテキストに収まっていることを確認するには、メッセージ内容のトークン数の合計が制限を下回っていることを確認してください。

トークンのカウント: Notebook

#例:

この例では、GPT-3.5-turbo-0613 モデルのファインチューニングを、顧客メッセー ジをトップレベルとサブレベルの両方のカテゴリーに分類するようモデルに指示するようデ ザインされたデータセットを使って実行します。この微調整の主な目的は、モデルが顧客メッセージを正確に分類できるようにすることです。モデルの分類の出力形式はJSONになります。

データ

• トレーニングデータ:

{"messages": [{"role": "user", "content": "How do I get help with accessibility in your branches?"}, {"role": "assistant", "content": "{\"Top Category\": \"Customer Service\", \"Sub Category\": \"Special Requests\"}"}]}
{"messages": [{"role": "user", "content": "I can\u2019t log into my mobile banking app."}, {"role": "assistant", "content": "{\"Top Category\": \"Online and Mobile Banking\", \"Sub Category\": \"Technical Support\"}"}]}
{"messages": [{"role": "user", "content": "I suspect a fraudulent transaction on my account, what should I do?"}, {"role": "assistant", "content": "{\"Top Category\": \"Fraud and Security\", \"Sub Category\": \"Reporting Fraud\"}"}]}
...

• 検証データ

{"messages": [{"role": "user", "content": "How do I set up autopay for my bills?"}, {"role": "assistant", "content": "{\"Top Category\": \"Payments and Transfers\", \"Sub Category\": \"Bill Payments\"}"}]}
{"messages": [{"role": "user", "content": "How do I give feedback on a recent interaction with a bank representative?"}, {"role": "assistant", "content": "{\"Top Category\": \"Customer Service\", \"Sub Category\": \"Feedback and Suggestions\"}"}]}
{"messages": [{"role": "user", "content": "I need a copy of my account statement for the last six months."}, {"role": "assistant", "content": "{\"Top Category\": \"Account Management\", \"Sub Category\": \"Account Information\"}"}]}
...

• テストデータ

微調整と評価

• プロセスの微調整

• 結果（50トークンのリミット出力）

最後に

ファインチューニングされたモデルは、オリジナルモデルと比較して出力が顕著に改善されている。洗練された出力は著しく短く、明確に定義されたJSONフォーマットで表示され、微調整プロセスで使用された入力データに酷似している。特筆すべきは、顧客メッセージを特定のカテゴリーに分類するモデルの精度が大幅に向上したことである。

これらの結果は、顧客メッセージを分類するという我々の目標タスクに対処するための微調整の有効性を強調しています。この改良されたモデルにより、GPT APIを活用することが、より効率的で費用対効果の高いものになります。

現在、ファインチューニングされたモデルはAPIを通じてのみアクセス可能です。しかし、将来的には、この改良されたモデルをOpenCVを介してAssistantに統合することで、API利用以外の幅広い応用が可能になる可能性があります。