【実機検証】Agentforceの新Testing CenterとCustom Scorerを使ってみた（前編）｜テストケース生成から採点まで

投稿日： 2026.10.23
更新日： 2026.10.23

#Salesforce #Agentforce #Testing Center #Custom Scorer

Agentforceでは、エージェントを作ったあとに「期待どおり動くか」「どこで失敗しているか」を確認するための機能が増えています。Testing Centerやセッション分析自体は以前からありましたが、2026年春以降はAgentforce Studio内の新Testing Center、Custom Scorer、Agent Optimizerなどが段階的に追加・強化されています。本記事では、ケース番号からSalesforceのケースを参照するシンプルなエージェントを使い、これらの機能を前編・後編の2回に分けて実際の画面で確認します。前編では、新Testing Centerでのテストケース生成と、標準ScorerとCustom Scorerでの採点を紹介します。

従来機能と2026年の主な追加・刷新点

最初に、従来からある機能と、2026年に追加・刷新された部分を整理します。Testing Centerそのものが2026年に初めて登場したわけではありません。Spring ’25では、AIが生成したシナリオを使ってエージェントをまとめてテストするTesting Centerがすでに提供されていました。今回の記事では、特に2026年春以降に追加・強化された部分を中心に確認します。

機能	これまでできたこと	2026年に追加・刷新された主な点
Testing Center	AI生成シナリオやアップロードしたテストケースで、エージェントをまとめて検証できる。	Agentforce Studioに統合され、テストケースを画面上で直接編集できるようになった。会話全体を通してテストする「会話レベルテスト」もBetaで追加。
標準Scorer	回答やActionなど、テスト結果を期待値と比較して評価する仕組みがあった。	回答やActionの一致に加え、完全性・一貫性・簡潔さ・応答時間も同じ画面で評価できるようになった。
Custom Scorer	－（新機能のため）	自社独自の評価基準を自然言語で作成し、標準Scorerと並べて評価できる（Beta）。
Agent Optimization	Session Tracingのデータを使い、実セッションを分析できる。	分析画面のレイアウトが刷新され、Custom Scorerの評価結果も分析に使えるようになった。
Agent Optimizer	－（新機能のため）	セッションの傾向や失敗パターンを自然言語で質問・分析し、原因や改善案を確認できる（Beta）。

Salesforceは2026/4/15の公式ブログで、Testing CenterをAgentforce Studioへ統合し、会話レベルテスト、Custom Evaluation、インライン編集を追加したと説明しています。Custom Scorer（Beta）と新しいAgent Optimization / Analyticsレイアウトは2026/5/4の週から提供開始。会話レベルテストは2026/8/3の週のRelease NotesでもBeta提供が案内されています。さらに、Agent Optimizerは2026/9/21の公式ブログで紹介された新しいBeta機能です。
まずは、本記事で扱う機能の位置づけを全体像で整理します。

Testing Centerはテストを実行する機能、Scorerは応答を評価する仕組み、Agent Optimizerは分析結果をもとに改善を支援する機能です。前編ではTesting CenterとScorerを、後編ではAgent Optimizationでのセッション確認とAgent Optimizerを紹介します。

今回の検証用エージェント

検証では、ケース番号を受け取ってSalesforceのケースを参照する読み取り専用エージェントを使いました。

• 入力：ケース番号
• 処理：ケース参照Action（look_up_case）を実行
• 出力：件名、説明、優先度、状況を要約
• 更新・作成・削除は行わない

新Testing Centerでテストケースを自動生成する

Agentforce Studioの［テスト］から新しいテストスイートを作成しました。今回はターンレベル、ライブモードを選び、会話履歴とコンテキスト変数は使用していません。
テストケースは20件をAI生成しました。生成元には「エージェントに割り当てられたサブエージェントとアクション」を選択し、Test Focusには次の内容を入力しました。

図1：サブエージェントとActionをもとに20件のテストケースを生成

生成結果には、正常なケース参照だけでなく、ケース番号がない入力、不完全な番号、存在しない番号、更新・削除などエージェントの対応範囲外の依頼も含まれました。

図2：自動生成されたテストケース。実在するケース番号に一部を手動修正

自動生成後は期待値を確認する

今回の環境では、Test Focusを日本語で入力してもUtteranceは英語で生成されました。また、正常系で使うケース番号を実在する「00005547」に変更したところ、Expected Response内の番号は自動では追従しませんでした。Utteranceを修正した場合は、Expected ResponseやExpected Actionも合わせて確認した方が安全です。なお、AIによるテストケース生成自体は以前からある機能ですが、新Testing Centerでは生成後の値をグリッド上で直接編集できます。Salesforceの公式ブログでも、旧版ではCSVをダウンロードして修正・再アップロードしていた操作が、インライン編集できるようになったと説明されています。

標準Scorerで結果を評価する

標準評価では、Response Assertion、Subagent Assertion、Action Assertionが常に実行されます。今回は追加でCoherence、Completeness、Conciseness、Latencyを選択しました。

Scorer	今回確認した内容
Response Assertion	期待する回答との一致
Subagent Assertion	期待するサブエージェントが選ばれたか
Action Assertion	期待するActionが実行されたか
Completeness	必要な情報がそろっているか
Coherence	読みやすく一貫した回答か
Conciseness	短く要点を保てているか
Latency	応答時間

実行結果では、正常なケース参照はAction Evaluationが合格しました。一方、不完全なケース番号「1001」では、テスト側はActionを実行しないことを期待していたのに、実際にはlook_up_caseが呼ばれ、Action Evaluationが失敗しました。この結果から、エージェントの動作だけでなく、テスト側の期待値も確認する必要があると分かりました。

図3：回答品質をScorerごとに評価。ケースによって判定が分かれる

図4：Subagent、Completeness、Actionの評価結果

Expected Subagentはそのまま信じない

今回のテストでは、自動生成されたExpected Subagentが「main」だった一方、Actual Subagentは「topic_selector」となり、Subagent Evaluationが失敗しました。テストスイートを作り直しても同じ結果でした。原因までは特定できていませんが、自動生成された期待値はレビューしてから使う必要があります。

Custom Scorerで業務独自の評価基準を追加する

標準Scorerだけでは表しにくい業務ルールは、Custom Scorerで評価できます。今回は「ケース参照が成功した回答に、件名・説明・優先度・状況の4項目が含まれているか」を判定するScorerを作成しました。公式Helpでは、Custom Scorerの用途として、解決品質、ポリシー順守、感情、業務固有の成果などが挙げられています。

• PASS：ケース参照が成功し、4項目すべてを回答
• FAIL：ケース参照は成功したが、4項目のいずれかが不足
• NOT_APPLICABLE：ケース不存在、ケース番号不足、更新・作成・削除など参照以外の依頼
• UNSURE：どの条件にも当てはまらない場合の代替ラベル

Custom ScorerはPrompt Templateを使い、LLM-as-a-Judgeで独自の基準を判定します。作成画面では評価用Prompt Templateが自動で用意され、ラベル条件を業務ルールに合わせて編集できます。標準Scorerを置き換えるのではなく、標準評価では拾いにくい自社独自の基準を追加する位置づけです。

図5：PASS / FAIL / NOT_APPLICABLEと代替ラベルUNSUREを設定

作成時につまずいた点

• Custom Scorer全体を保存する前に、Prompt Template Composer右上の保存アイコンからPrompt Template自体を保存する必要があった。



図6：Prompt Templateを保存してからCustom Scorer全体を保存

• 表示ラベルと代替表示ラベルは同じ値にできない。NOT_APPLICABLEを両方に入れると重複エラーになったため、代替表示ラベルをUNSUREにした。

Custom Scorerを追加してテストを実行すると、Custom Scorerの列にPASS / NOT_APPLICABLEが表示されました。標準のCompletenessとCustom Scorerで結果が一致しないケースもあり、標準評価と業務独自評価が別の観点で動いていることを確認できました。

図7：Custom Scorerの結果がテストグリッドに追加された

実機で確認できたこと・注意点

確認ポイント	実機での結果
テストケースはかなり広く生成される	正常系だけでなく、番号不足、存在しない番号、更新・削除など対応範囲外の依頼まで生成された。
生成後の確認は必要	ケース番号を変更してもExpected Responseは自動追従しなかった。Expected Subagentにも実挙動とのズレがあった。
標準ScorerとCustom Scorerは役割が違う	標準のCompletenessが失敗でも、独自条件を満たしてCustom ScorerがPASSになるケースがあった。
Custom ScorerはPrompt Templateを使う	Scorer保存とは別に、Composer内のPrompt Template保存が必要だった。

 

まとめ

前編では、Agentforceのテストと評価を次の流れで確認しました。

1. 新Testing Centerでテストケースを自動生成する
2. 標準Scorerで回答・Subagent・Action・品質を評価する
3. Custom Scorerで業務独自の基準を追加する

Testing Center自体は以前からありましたが、新Testing CenterではAgentforce Studioへの統合や画面上での編集が加わり、Custom Scorerで自社独自の基準も追加できるようになりました。今回の検証では、テストケースの自動生成から、標準・独自基準での採点までを確認できました。
一方、自動生成された期待値をそのまま正しいものとして扱うことはできません。今回も、ケース番号を変えてもExpected Responseが追従しない点や、Expected Subagentの不一致が確認されました。テストを実行する前に、期待値をレビューすることが大切です。
後編では、このテストで発生したセッションをAgent Optimizationで確認し、Agent Optimizerに分析を依頼した結果を紹介します。
▶ 後編：【実機検証】AgentforceのAgent Optimizerを使ってみた（後編）｜実セッションを自然言語で分析

参考情報

• Salesforce Spring ’25 Release Preview Announcement
• AI Agents Are Advancing Rapidly… Is Your Testing Strategy Keeping Up?（2026/4/15）
• Set Up and Run Tests in Agentforce Studio (Beta)
• Create Custom Scorers
• Agentforce Observability: Refined Agent Analytics and Custom Scorers (Beta)
• Agentforce Platform Features by Month（Custom Scorers：2026/5/4の週、Conversation-Level Testing：2026/8/3の週）

＜Salesforce＞
弊社ではSalesforceをはじめとするさまざまな無料オンラインセミナーを実施しています！
＞＞セミナー一覧はこちら

また、弊社ではSalesforceの導入支援のサポートも行っています。ぜひお気軽にお問い合わせください。
＞＞Salesforceについての詳細はこちら
＞＞Salesforceの導入支援実績はこちらからご覧いただけます！

医療業界に特化した営業支援、顧客管理(SFA/CRM)のコンサルティングも提供しております。こちらもぜひお気軽にお問い合わせください。
＞＞顧客管理(SFA/CRM)のコンサルティングの詳細はこちら