12-1. 本番運用で管理するもの
Agent
Instructions、Tools、モデル、利用者。
Semantic
Metric、Relationship、VQR。
Search
文書更新、Chunk、Metadata。
Security
Role、Policy、外部MCP。
Cost
LLM、Warehouse、Search。
Quality
評価セット、誤答、利用者Feedback。
12-2. DEV / TEST / PRODを分ける
flowchart LR
D[DEV
作成・検証] --> T[TEST
評価セット] T --> P[PROD
利用者公開] P --> F[Feedback] F --> D
作成・検証] --> T[TEST
評価セット] T --> P[PROD
利用者公開] P --> F[Feedback] F --> D
Semantic ViewやAgent Instructionsを本番で直接変更せず、評価後に反映する運用が安全です。
12-3. 変更管理
| 変更 | 影響 | 必要なテスト |
|---|---|---|
| Metric変更 | 数値が変わる | Power BI比較、VQR |
| Relationship変更 | JOIN結果が変わる | 重複・欠損確認 |
| Instructions変更 | Tool Routingが変わる | 代表質問セット |
| Search文書更新 | 回答根拠が変わる | 検索精度確認 |
12-4. コスト管理
CoWork利用では、AIサービス利用だけでなく、Cortex Analystが実行するSQLのWarehouse、Cortex Search、外部サービスなど複数のコスト要素があります。
- 分析用Warehouseを分離する
- AUTO_SUSPENDを設定する
- 重い質問・無制限集計を抑制する
- Query Timeoutを設定する
- 利用頻度をモニタリングする
12-5. Feedback Loop
Cortex Agentsは利用者Feedbackや評価を活用して継続改善する運用が重要です。
flowchart LR
U[利用] --> A[回答]
A --> F[Feedback]
F --> C[原因分析]
C --> I[改善]
I --> E[Evaluation]
E --> U
12-6. KPI
| KPI | 意味 |
|---|---|
| 回答正解率 | 期待回答・正解値に一致した割合 |
| 数値一致率 | Power BI等の正値と一致した割合 |
| Tool Routing正解率 | 適切なToolを選択した割合 |
| 利用率 | 対象ユーザーのうち利用した割合 |
| 自己解決率 | BI/データ担当への依頼なしで解決できた割合 |
| 平均回答時間 | 質問から回答までの時間 |
12-7. 本番導入チェックリスト
- 利用ユースケースが明確
- 正しいMetric定義がある
- Power BIとの正値比較を実施済み
- Role・権限を最小化済み
- 外部MCP利用時のセキュリティ承認済み
- 評価質問セットを準備済み
- 誤答時の問い合わせ先を決めている
- 変更管理プロセスがある
- コスト監視方法がある
この章で理解したこと
- 本番では品質・権限・コスト・変更を継続管理する
- DEV/TEST/PRODを分ける
- FeedbackとEvaluationを改善サイクルに組み込む
- 「数値一致率」を重要KPIにできる