10-1. AI精度は「モデルの頭の良さ」だけで決まらない
CoWorkの品質は、LLMモデルだけではなく、データ・Semantic Layer・Tool設計・Instructions・評価方法の総合結果です。
flowchart TD
Q[回答品質]
D[データ品質]
S[Semantic設計]
T[Tool設計]
I[Instructions]
E[Evaluation]
D --> Q
S --> Q
T --> Q
I --> Q
E --> Q
10-2. テクニック1：質問領域を絞る
「全社のあらゆる質問に答えるAgent」を最初から作ると、どのデータ・ツールを使うべきか曖昧になります。まず営業、在庫、サポートなど領域を限定します。
10-3. テクニック2：Semantic Viewを説明的にする
- 名前は業務用語に寄せる
- Descriptionに計算条件・除外条件を書く
- Metricを明示する
- Relationshipを正しく定義する
- 不要なColumnを見せすぎない
10-4. テクニック3：Verified Queryを育てる
頻出質問と正解SQLをVQRへ蓄積します。
優先して登録する質問 1. 月次・週次会議で必ず聞かれる質問 2. KPIに関する質問 3. 過去に誤答した質問 4. 複雑な期間比較 5. JOINや除外条件が複雑な質問
10-5. テクニック4：Tool Descriptionを具体的にする
AgentはTool Descriptionを参考にツール選択します。
| 悪い例 | 良い例 |
|---|---|
| 「売上データ」 | 「商品・顧客・地域別の売上、数量、粗利、前年比を分析する。財務会計売上には使用しない」 |
10-6. テクニック5：Instructionsに優先順位を書く
例 - 売上・粗利・前年比の質問は Power BI Semantic Model を優先する。 - 在庫数量・在庫金額は Snowflake Semantic View を使用する。 - 社内規程は Cortex Search の原文を根拠に回答する。 - 数値を推測しない。不明な場合は不明と回答する。
10-7. テクニック6：Literal値を補助する
商品名・顧客名・地域などで曖昧一致が必要な場合、Sample ValuesやCortex Search連携を使って実データの値を特定しやすくします。
10-8. テクニック7：Cortex SearchのChunkとMetadataを改善
- 文書を意味単位でChunk化する
- タイトル・カテゴリ・更新日・商品などをMetadataにする
- 古い文書を検索対象から除外・優先度を下げる
- 重複文書を整理する
10-9. テクニック8：回答に根拠を要求する
「答えだけ」ではなく、使用した期間・指標・資料・比較対象を回答に含めるようにします。
正解率だけでなく「なぜその答えになったかを人が検証できること」を品質要件に含めます。
10-10. テクニック9：評価セットを作る
| 評価項目 | 例 |
|---|---|
| SQL Correctness | 期待SQLと意味的に一致するか |
| 数値一致 | Power BIの正解値と一致するか |
| Tool Routing | 適切なToolを選んだか |
| 根拠 | 参照した資料・条件を説明できるか |
| 再現性 | 同じ質問で大きくぶれないか |
10-11. テクニック10：誤答を資産化する
flowchart LR
U[誤答] --> C[原因分類]
C --> S[Semantic修正]
C --> V[VQR追加]
C --> I[Instructions修正]
C --> D[データ修正]
S --> T[再テスト]
V --> T
I --> T
D --> T
誤答を「AIだから仕方ない」で終わらせず、修正パターンを蓄積することで精度を継続的に高めます。
10-12. 精度改善の優先順位
- 正しいデータ
- 正しいMetric・Relationship
- 適切なTool Routing
- Verified Query
- Instructions
- 評価と改善運用
プロンプトだけで全問題を解決しようとしないことが重要です。
この章で理解したこと
- 精度はデータ・Semantic・Tool・Instructions・評価の総合力
- VQRとTool Descriptionは実務上非常に重要
- Power BIとの数値一致は評価セットに入れる
- 誤答を改善資産へ変換する