YonaYona Fabric & AI Night #22(オンライン(Teams))
AI時代に人がすべきは評価器づくり！
Microsoft Foundry の評価機能を総まとめ
スライド上で ← → キーかクリックでページ送り、F で全画面表示。スマートフォンでは 新しいタブで開くと見やすくなります。
この資料について
エージェントはモデルの更新、業務ルールの変更、利用者の質問の変化によって、作った後も直し続ける必要があります。直した結果が本当に良くなったのかを判断するには、物差しとなる評価器(出力の良し悪しを採点する仕組み)が欠かせません。
この資料では、まず Microsoft Foundry の評価機能の全体像を整理します。次に、リース窓口のエージェントを題材にします。評価データの用意、Rubric(採点基準表)の設計、判定が割れる行の扱い、採点のしくみ、Agent Optimizer による改善まで、一周します。最後に、AI 時代に人が担うべき役割は評価器づくりである、という話にまとめます。