Agentforceでのプロンプト実行方式による出力比較:同じLLMでも結果が変わる理由
目次
Salesforce Agentforceでプロンプトを実行する際、同じLLMモデルを使用していても、実行方式によって出力結果に違いが生じることをご存知でしょうか。
今回は、エージェント内でプロンプトを組み込んで実行する場合と、プロンプトビルダーを単体で実行する場合の出力差異を検証しました。
検証の概要
今回の検証では、CRMシステムの拡張開発に関する問い合わせ内容を要約するというタスクで、以下の3つのLLMモデルを使用しました。
- GPT-5(OpenAI)
- Gemini 2.5 Pro(Google)
- Claude 3 Haiku(Anthropic)
それぞれのモデルについて、エージェント内でプロンプトを実行した場合と、プロンプトビルダーを単体で実行した場合の2パターンで出力を比較しています。
原文
ナナカマド工業の佐藤様から、CRMシステムの拡張開発に関する相談がありました。現在、営業部門と技術管理部門でCRMを利用しており、案件管理と見積情報の共有が主な用途ですが、受注後の工程進捗を同じシステム上で管理したいとの要望があります。
具体的には、以下の機能を希望されています：
工程ごとの担当者アサイン機能
納期管理のガントチャート表示
スマートフォンからの利用を想定したモバイルUIの拡張
また、既存の顧客情報画面や商談詳細ページに新しいフィールドを追加する際、承認プロセスへの影響を懸念されています。標準機能で対応可能な部分とカスタマイズが必要な部分の切り分けや、見積プロセスについての情報提供を求められています。
12月中旬までに仕様を固め、来年2月頃の運用開始を目指しており、今週中に一次回答を希望されています。次のアクションとして、社内技術チームへの内容共有と対応可否の整理が予定されています。
GPT-5(OpenAI)
■エージェント内でプロンプトを実行した場合
要約したケースの説明は以下の通りです：
要件概要：
- ナナカマド工業（佐藤様）より、既存CRMの拡張開発に関する相談。
- 営業部門・技術管理部門で案件管理・見積共有を主に利用中。受注後の工程進捗を同一CRM上で管理したい意向。
- 現状は受注後にExcel管理へ移行しており、営業から製造への情報連携が分断。CRM内で完結させたい要望。
- 追加希望機能：工程ごとの担当者アサイン、納期管理のガントチャート表示。既存の見積・顧客管理フローの延長で動作する形を希望。
- 外部協力会社との情報共有は将来的検討だが、現時点では社内限定運用を前提。
- 要件定義書は未作成。社内の検討メモを後日共有予定。
- 確認希望事項：カスタマイズ可能範囲、見積依頼時の流れ、標準機能で対応可能な部分と開発が必要な部分の切り分け。
- 懸念点：顧客情報画面・商談詳細ページへの新規フィールド追加が既存承認フローへ与える影響。過去改修で承認フロー停止事例ありのため慎重姿勢。
- モバイル対応検討あり。現場入力を想定したスマートフォンUI拡張への関心。
- スケジュール感：12月中旬までに仕様確定、翌年2月頃の運用開始を目標。今週中に一次回答希望（社内年末計画のため）。
- 標準機能での代替も検討可能だが、進捗バーや担当者ステータスの可視化はUI上での表示を強く希望。
当社対応方針・次アクション：
- 技術担当（鈴木）へ内容共有のうえ、機能追加の技術的可否を整理。
- 三ツ葉産業向けCRM工程管理拡張の事例を参照し、実装可否を検討。
- 10/11（金）までに一次回答を提案書形式で提示。カスタマイズ範囲、見積フロー、標準機能と開発の切り分け、承認フロー影響評価、モバイルUI拡張の可否を含めて回答。
- ご不明点や追加のご要望があればお知らせください。
■プロンプトビルダーを単体で実行した場合
要約：
– 佐藤様（ナナカマド工業）より、CRM拡張開発の相談。受注後の工程進捗をCRM上で管理したい意向。現状は案件確定後にExcelへ移行しており、営業→製造の情報連携が分断。
– 希望機能：工程ごとの担当者アサイン、納期管理のガントチャート表示。既存の見積・顧客管理フローの延長で動作する形を希望。
– 将来的要望として、外部協力会社との情報共有を検討中（現時点は社内限定運用）。
– 要件定義書は未作成。社内検討メモを後日共有予定。
– 確認事項の要望：「カスタマイズ対応範囲」「見積依頼時の流れ」「標準機能と要開発の切り分け」。
– 懸念点：顧客情報画面・商談詳細ページへの新規フィールド追加が既存の承認フローに影響しないか。過去改修で承認停止の事例あり。
– モバイル対応への関心あり（現場での進捗入力、モバイルUI拡張）。
– スケジュール：12月中旬までに仕様確定、翌年2月運用開始目標。今週中の一次回答希望（年末計画に影響）。
– 当社対応依頼：技術的可否を整理し、提案書形式で提示。
Gemini 2.5 Pro(Google)
■エージェント内でプロンプトを実行した場合
件名：ナナカマド工業様 CRM拡張開発に関する問い合わせの要約
- 問い合わせ元
- 概要
- 背景と課題
- 主な要望事項
- 懸念事項
- 弊社への依頼事項
- スケジュール
- 特記事項
- 次のアクション
・ナナカマド工業株式会社 佐藤様 （10月9日 13:40 電話にて）
・現在利用中のCRMシステムにおける、受注後の工程進捗管理機能の追加開発に関する相談。
・現状、営業部門と技術管理部門でCRMを利用し、案件管理と見積情報を共有している。
・受注後の工程進捗管理は別途Excelで行っており、CRMとの情報連携が分断されている状態を解消したい意向。
・CRM内での工程進捗管理の一元化。
希望する機能：
・工程ごとの担当者アサイン機能
・納期管理のためのガントチャート形式での表示
・進捗状況の可視化（進捗バー等）
・既存の顧客管理・見積フローの延長線上で動作する形を希望。
・スマートフォンからの進捗入力も検討。
・機能追加に伴う、既存のワークフロー（承認プロセス）への影響。
・カスタマイズの対応可能範囲の提示。
・見積もりを依頼する場合の手順説明。
・標準機能で対応できる範囲と、開発が必要な範囲の切り分け。
・上記を踏まえた提案書の作成。
・一次回答希望：今週中（10月11日目安）
・仕様確定目標：12月中旬
・運用開始目標：来年2月頃
・先方にて作成中の検討メモが後日共有される予定。
・営業部長 田村氏より、将来的な外部協力会社との情報共有機能も検討したいとの補足あり（今回は社内利用が前提）。
・標準機能での代替も検討可能だが、UI上での進捗可視化については要望が強い。
・社内技術チームへ本件を共有し、対応可否を整理する。
・過去の類似案件（三ツ葉産業向け）を参考に実装可否を検討する。
・10月11日(金)までに一次回答を行う。
■プロンプトビルダーを単体で実行した場合
件名：ナナカマド工業様 CRM拡張開発に関する問い合わせ要約
**1. 問い合わせ元**
ナナカマド工業株式会社 佐藤様
**2. 背景・目的**
現在利用中のCRMにおいて、受注後の工程進捗管理機能を追加したいとの相談。
現状、案件確定後はExcelで進捗管理を行っており、営業部門と製造部門間の情報連携が分断されている状態を解消し、CRM内で情報を一元管理することを目的とする。
**3. 主な要望事項**
* 工程ごとの担当者アサイン機能
* 納期管理のためのガントチャート形式での表示機能
* スマートフォンを利用した現場からの進捗入力
* 既存の顧客管理・見積フローの延長線上での機能実装
**4. 懸念事項**
* 新機能追加に伴う、既存の承認ワークフローへの影響。過去の改修時に同様の問題が発生した経緯があり、特に慎重な確認を希望している。
**5. スケジュール**
* 仕様確定：12月中旬目途
* 運用開始：来年2月頃を希望
* 弊社からの一次回答：今週中（10/11 金曜日まで）を希望
**6. 弊社への依頼事項**
* カスタマイズ対応可能な範囲の提示
* 見積依頼から開発までのフロー説明
* 標準機能で対応できる範囲と、追加開発が必要な範囲の切り分け
* 上記を踏まえた技術的な可否を整理し、提案書形式で提示してほしい。
**7. 補足**
* 営業部長の田村氏より、将来的には外部協力会社との情報共有機能も検討したいとの補足あり。ただし、今回の開発範囲は社内利用が前提。
* 顧客社内で検討メモを作成中であり、後日共有予定。
* 標準機能での代替案も検討可能だが、進捗状況の可視化（UI）については強い要望がある。
**8. 次のアクション**
* 社内技術チーム（鈴木氏）へ本件を共有し、技術的な実現可否を確認する。
* 過去の類似案件（三ツ葉産業向けCRM工程管理拡張）を参考に、対応を検討する。
* 10月11日（金）までに、ナナカマド工業 佐藤様へ一次回答を行う。
Claude 3 Haiku(Anthropic)
■エージェント内でプロンプトを実行した場合
以下、問い合わせ内容の要約です。
ナナカマド工業の佐藤様より、CRMシステムの拡張開発に関する相談がありました。
同社では、弊社提供のCRMを営業部門と技術管理部門で利用中です。案件管理と見積情報の共有が主な用途ですが、受注後の工程進捗を同システム上で管理したいという要望が出ている状況です。
現状は、案件確定後は別のExcel管理に移行しており、営業と製造の情報連携が分断されているため、CRM内で完結できるようにしたいとのことです。
具体的な要望としては、「工程ごとの担当者アサイン機能」や「納期管理のガントチャート的な表示」の追加を希望しています。ただし、既存の見積・顧客管理フローの延長線上で動作する形を希望しており、システム全体を変更するのは避けたいとのことです。
また、将来的に外部協力会社との情報共有も検討しているものの、当面は社内限定運用を前提としています。
現時点では具体的な要件定義書は未作成ですが、後日共有の予定とのことです。
弊社側に対しては、「どの範囲までカスタマイズ対応可能か」「見積もりの流れ」「標準機能で対応できる部分と開発が必要な部分の切り分け」を知りたいとのことです。
特に懸念しているのは、既存の顧客情報画面や商談詳細ページに新しいフィールドを追加した際の、承認プロセスへの影響です。
また、スマートフォンからの利用も検討しており、モバイル画面のUI拡張にも関心があります。
CRM拡張のタイミングとしては、12月中旬までに仕様を固め、来年2月頃の運用開始を目指しているとのことです。
弊社からは、まず社内の技術担当に確認し、過去の類似案件の事例も参考に、実装可否を検討する予定です。可能な範囲で標準機能の活用を検討するが、進捗バーや担当者ステータスの可視化などについては、UI上で見える形にするよう強い要望があります。
一次回答については、10月11日(金)までに行う予定です。
■プロンプトビルダーを単体で実行した場合
件名：ナナカマド工業様 CRM拡張開発に関する問い合わせ要約
1. **問い合わせ元**
* 会社名：ナナカマド工業株式会社
* 担当者：佐藤様
2. **概要**
* 現在利用中のCRMシステムに、受注後の工程進捗管理機能を追加したいとの相談。
* 目的は、現状のExcel管理から脱却し、営業から製造までの情報連携をCRM内で完結させること。
3. **主な要望事項**
* 工程ごとの担当者アサイン機能の実装。
* 納期管理のためのガントチャート形式での表示機能。
* スマートフォンからの進捗入力・確認に対応するUI拡張。
* 進捗ステータスの可視化（進捗バーなど）。
4. **前提・懸念事項**
* 既存の顧客管理や見積フローの延長線上で動作する形を希望。
* 機能追加による既存の承認ワークフローへの影響を懸念。
* 将来的に外部協力会社との情報共有も視野に入れているが、今回は社内利用が前提。
5. **弊社への依頼**
* カスタマイズの対応範囲、標準機能と開発の切り分け、見積もりの流れに関する情報提供。
* 上記を踏まえた提案書の作成。
6. **スケジュール**
* 仕様確定：12月中旬目途
* 運用開始：来年2月頃目標
* 弊社からの一次回答希望：10月11日(金)まで
7. **今後の対応**
* 社内技術担当（鈴木氏）へ本件を共有し、技術的な実現可否を確認する。
* 過去の類似案件（三ツ葉産業向け）を参考に検討を進める。
* 10月11日(金)までに佐藤様へ一次回答を行う。
– 佐藤様コメント：標準機能で代替可能ならそれでも可。ただし進捗バーや担当者ステータスの可視化はUI上での表示を重視。
– 次アクション：社内技術（鈴木）へ共有。三ツ葉産業の類似事例を参照し可否を検討。10/11（金）までに一次回答予定。
主な違いが見られたポイント
今回の検証で観察された主な違いは、情報の粒度と構造化の度合いでした。
情報の詳細度
エージェント内でプロンプトを実行した場合、多くのモデルで原文に含まれていない補足情報や背景説明が追加される傾向が見られました。特にGPT-5では、エージェント実行時に「現状は受注後にExcel管理へ移行しており」という文脈を明示的に記載し、情報の流れをより理解しやすく整理していました。
一方、プロンプトビルダー単体での実行では、原文の情報を忠実に抽出し、箇条書きや番号付きリストを用いた簡潔な要約となる傾向がありました。
出力フォーマットの違い
最も顕著な違いは、出力のフォーマット構造です。
- エージェント内実行:文章形式での説明が中心。段落を使って情報の流れを説明し、要約というよりも「状況報告」に近い形式
- プロンプトビルダー単体実行:見出しと箇条書きを組み合わせた構造化された要約。視認性が高く、要点を素早く把握できる形式
Gemini 2.5 ProとClaude 3 Haikuでは、プロンプトビルダー単体実行時に「件名」から始まる明確な文書構造を採用しており、ビジネス文書としての完成度が高い出力となっていました。
情報の取捨選択
エージェント内での実行では、LLMがコンテキストを考慮した情報の取捨選択を行っている様子が観察されました。例えば、GPT-5のエージェント実行では「三ツ葉産業向けCRM工程管理拡張の事例を参照」という具体的な次アクションが明記されていましたが、プロンプトビルダー単体では「過去の類似案件」という一般的な表現にとどまっていました。
なぜ同じLLMでも出力が変わるのか
同じLLMモデルを使用しているにもかかわらず、出力に違いが生じる主な理由は以下の3点です。
コンテキストの違い
エージェント内でプロンプトを実行する場合、Agentforceは会話履歴、ユーザープロファイル、関連するCRMデータなど、より広範なコンテキスト情報をLLMに提供します。この追加的なコンテキストにより、LLMはより文脈に即した、状況に適応した出力を生成できるのです。
一方、プロンプトビルダーを単体で実行する場合は、提供されたテキスト情報のみを処理対象とするため、よりタスク固有の、焦点を絞った出力となります。
システムプロンプトの影響
Agentforceのエージェント内で実行される場合、Salesforceが設計したエージェント特有のシステムプロンプト(指示)が適用されます。これには、ビジネスコンテキストでの応答スタイル、情報の提示方法、次のアクションの提案など、エージェントとしての振る舞いを定義する指示が含まれています。
プロンプトビルダー単体では、より汎用的な、あるいはユーザーが定義したプロンプトのみが適用されるため、出力スタイルが異なってきます。
出力の最適化目的の違い
エージェント実行では、「次のアクションに繋げる」ことを意識した出力が生成される傾向があります。これは、エージェントが自律的にタスクを遂行することを前提としているためです。
プロンプトビルダー単体では、「情報を整理して提示する」ことに特化しており、人間が読んで理解しやすい構造化された文書の作成が優先されます。
実務への示唆
この検証結果は、Salesforce Agentforceを実務で活用する際の重要な示唆を提供しています。
用途に応じた使い分けが重要
エージェント内でのプロンプト実行が適している場面:
- カスタマーサポートでの継続的な対話が必要な場合
- CRMデータと連携した情報提供が必要な場合
- 次のアクションや意思決定の提案が求められる場合
- 顧客の過去の履歴や状況を考慮した応答が必要な場合
プロンプトビルダー単体実行が適している場面:
- 定型的な文書作成タスク(議事録要約、報告書作成など)
- テンプレート化された出力が求められる場合
- コンテキストに依存しない汎用的な処理を行う場合
- 複数のユーザーや部門で統一されたフォーマットが必要な場合
モデル選択の考慮点
今回の検証では、各LLMモデルの特性も観察されました。
- GPT-5:詳細な状況説明と補足情報の提供に優れており、複雑なビジネスシナリオの理解と説明に適している
- Gemini 2.5 Pro:構造化された文書作成において安定した品質を提供。ビジネス文書としての完成度が高い
- Claude 3 Haiku:バランスの取れた出力で、実用性と効率性を重視する場合に適している
テストと検証の必要性
同じLLMでも実行方式によって出力が変わることから、実務導入前には必ず以下の検証を行うことを推奨します。
- 実際の業務データを使った出力品質の確認
- エージェント実行とプロンプトビルダー単体実行の両方でのテスト
- 異なるLLMモデルでの比較検証
- 出力の一貫性と再現性の確認
特に、顧客対応や重要な意思決定に関わる用途では、期待する出力が安定して得られるかを十分に検証することが重要です。
まとめ
今回の検証を通じて、Salesforce Agentforceにおいて同じLLMモデルを使用していても、エージェント内でのプロンプト実行とプロンプトビルダー単体実行では、出力に明確な違いが生じることが確認できました。
主要な発見:
- エージェント実行では文脈を考慮した詳細な説明が生成される
- プロンプトビルダー単体では構造化された簡潔な要約が得られる
- コンテキスト、システムプロンプト、最適化目的の違いが出力差異の主な要因
実務での活用のために:
Agentforceを効果的に活用するには、タスクの性質と目的に応じて実行方式を適切に選択することが重要です。エージェント内実行は対話的で文脈依存の高いタスクに、プロンプトビルダー単体は定型的な文書作成タスクに、それぞれ適しています。
また、どちらの方式を選択する場合でも、実際の業務データを使った十分な検証を行い、期待する出力品質が安定して得られることを確認してから本番環境に適用することをお勧めします。
Salesforce AgentforceのAI機能は日々進化を続けています。これらの特性を理解し、適切に使い分けることで、より効果的なAI活用が実現できるでしょう。
フロッグウェル株式会社ではSalesforce Agentforceの導入支援から最適な活用方法のコンサルティングまで、包括的なサービスを提供しています。AI活用でお悩みの際は、ぜひお気軽にご相談ください。
＜Salesforce＞
弊社ではSalesforceをはじめとするさまざまな無料オンラインセミナーを実施しています！
＞＞セミナー一覧はこちら
また、弊社ではSalesforceの導入支援のサポートも行っています。ぜひお気軽にお問い合わせください。
＞＞Salesforceについての詳細はこちら
＞＞Salesforceの導入支援実績はこちらからご覧いただけます！
医療業界に特化した営業支援、顧客管理(SFA/CRM)のコンサルティングも提供しております。こちらもぜひお気軽にお問い合わせください。
＞＞顧客管理(SFA/CRM)のコンサルティングの詳細はこちら
