first commit
This commit is contained in:
46
docs/validation/TEST_ACCEPTANCE_MASTER.md
Normal file
46
docs/validation/TEST_ACCEPTANCE_MASTER.md
Normal file
@@ -0,0 +1,46 @@
|
||||
# Test Acceptance Master
|
||||
|
||||
## 目的
|
||||
|
||||
統一 MVP 驗收矩陣,作為 go/no-go 的依據。
|
||||
|
||||
## 驗收維度
|
||||
|
||||
### 功能
|
||||
|
||||
- Admin 流程可建立、編輯、發布、回退
|
||||
- Editor 可選取、編輯、結構操作、undo/redo
|
||||
- Runtime 可分流、套版、上報事件
|
||||
|
||||
### 穩定性
|
||||
|
||||
- 高頻操作無阻塞錯誤
|
||||
- selector 與 history 不失效
|
||||
|
||||
### 效能
|
||||
|
||||
- 前端建置時間與包體符合基線
|
||||
- API 主要端點回應時間在可接受範圍
|
||||
- SDK 套用變更不影響頁面可互動性
|
||||
|
||||
### 安全
|
||||
|
||||
- 權限檢查符合 401/403/200 基線
|
||||
- token 與環境配置符合安全策略
|
||||
|
||||
### 回滾
|
||||
|
||||
- release rollback 可執行
|
||||
- 資料回退與故障處置流程可演練
|
||||
|
||||
## Go / Conditional Go / No-Go
|
||||
|
||||
- Go:核心流程全部通過,無阻塞問題
|
||||
- Conditional Go:有可接受風險且有明確緩解方案
|
||||
- No-Go:核心流程阻塞或安全風險未關閉
|
||||
|
||||
## 驗收輸出
|
||||
|
||||
- 測試結果記錄到 [VALIDATION_EXECUTION_LOG.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/VALIDATION_EXECUTION_LOG.md)
|
||||
- 交接與回填使用 templates 文件
|
||||
|
||||
61
docs/validation/VALIDATION_EXECUTION_LOG.md
Normal file
61
docs/validation/VALIDATION_EXECUTION_LOG.md
Normal file
@@ -0,0 +1,61 @@
|
||||
# Validation Execution Log
|
||||
|
||||
## 用途
|
||||
|
||||
每次測試都更新這份,不另開平行版本。
|
||||
|
||||
## 批次資訊
|
||||
|
||||
- 日期:
|
||||
- 執行者:
|
||||
- 環境:local / staging / production
|
||||
- 範圍:
|
||||
|
||||
## 前提確認
|
||||
|
||||
- [ ] Env 完整
|
||||
- [ ] 權限可用
|
||||
- [ ] 測試資料可用
|
||||
|
||||
## 執行紀錄
|
||||
|
||||
### 1. Health / Readiness
|
||||
|
||||
- 結果:
|
||||
- 備註:
|
||||
|
||||
### 2. Auth / Session
|
||||
|
||||
- 結果:
|
||||
- 備註:
|
||||
|
||||
### 3. Admin Data Flow
|
||||
|
||||
- 結果:
|
||||
- 備註:
|
||||
|
||||
### 4. Editor Flow
|
||||
|
||||
- 結果:
|
||||
- 備註:
|
||||
|
||||
### 5. Runtime Flow
|
||||
|
||||
- 結果:
|
||||
- 備註:
|
||||
|
||||
## 問題清單
|
||||
|
||||
### 阻塞問題
|
||||
|
||||
-
|
||||
|
||||
### 非阻塞問題
|
||||
|
||||
-
|
||||
|
||||
## 結論
|
||||
|
||||
- Go / Conditional Go / No-Go:
|
||||
- 後續動作:
|
||||
|
||||
58
docs/validation/VALIDATION_MASTER.md
Normal file
58
docs/validation/VALIDATION_MASTER.md
Normal file
@@ -0,0 +1,58 @@
|
||||
# Validation Master
|
||||
|
||||
## 目的
|
||||
|
||||
整合驗證入口、前置條件、執行流程、triage 規則與批次策略。
|
||||
|
||||
## 驗證前提
|
||||
|
||||
- API 與 frontend 可啟動
|
||||
- 有可用帳號與權限
|
||||
- 最小測試資料已建立
|
||||
|
||||
## 最短啟動路徑
|
||||
|
||||
1. 準備 env(參考 scripts 與 env 模板)
|
||||
2. 跑 preflight 檢查
|
||||
3. 跑 smoke
|
||||
4. 跑 editor / runtime 指定流程
|
||||
5. 記錄結果到 execution log
|
||||
|
||||
## 驗證批次建議
|
||||
|
||||
### Batch 1:環境與身份
|
||||
|
||||
- health / ready
|
||||
- auth / session
|
||||
|
||||
### Batch 2:後台資料流
|
||||
|
||||
- experiments / variants / releases / goals
|
||||
|
||||
### Batch 3:Editor 主流程
|
||||
|
||||
- 選取、即時編輯、結構操作、history
|
||||
|
||||
### Batch 4:Runtime 主流程
|
||||
|
||||
- bootstrap / assign / payload / events
|
||||
|
||||
### Batch 5:回填與審查
|
||||
|
||||
- triage
|
||||
- readiness 結論
|
||||
|
||||
## Triage 規則
|
||||
|
||||
- 先判斷失敗階段:Auth / Admin / Editor / Runtime
|
||||
- 再判斷根因:環境 / 資料 / 程式 / 範圍誤判
|
||||
- 阻塞與非阻塞分開紀錄
|
||||
|
||||
## 搭配文件
|
||||
|
||||
- [TEST_ACCEPTANCE_MASTER.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/TEST_ACCEPTANCE_MASTER.md)
|
||||
- [VALIDATION_EXECUTION_LOG.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/VALIDATION_EXECUTION_LOG.md)
|
||||
- [MINIMAL_TEST_DATA_TEMPLATE.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/templates/MINIMAL_TEST_DATA_TEMPLATE.md)
|
||||
- [STAGING_REQUEST_PACKAGE.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/templates/STAGING_REQUEST_PACKAGE.md)
|
||||
- [STAGING_REPLY_TEMPLATE.md](/Users/chirs/Documents/workspace/marketing/mkt.ose.tw/docs/validation/templates/STAGING_REPLY_TEMPLATE.md)
|
||||
|
||||
28
docs/validation/templates/MINIMAL_TEST_DATA_TEMPLATE.md
Normal file
28
docs/validation/templates/MINIMAL_TEST_DATA_TEMPLATE.md
Normal file
@@ -0,0 +1,28 @@
|
||||
# Minimal Test Data Template
|
||||
|
||||
## 最小資料集
|
||||
|
||||
- corporate_customer
|
||||
- site
|
||||
- experiment
|
||||
- variants
|
||||
- variant_changes
|
||||
- experiment_releases
|
||||
- goals
|
||||
- sdk_configs
|
||||
|
||||
## 建議命名
|
||||
|
||||
- site_key:`ose-main-site`
|
||||
- experiment_key:`EX+timestamp`(系統生成)
|
||||
- variant_key:`VA+timestamp`(系統生成)
|
||||
- control variant:`control`
|
||||
- challenger variant:`v1`
|
||||
|
||||
## 驗證時常用值
|
||||
|
||||
- site_id:
|
||||
- experiment_id:
|
||||
- variant_id(control):
|
||||
- variant_id(challenger):
|
||||
- release_id:
|
||||
20
docs/validation/templates/STAGING_REPLY_TEMPLATE.md
Normal file
20
docs/validation/templates/STAGING_REPLY_TEMPLATE.md
Normal file
@@ -0,0 +1,20 @@
|
||||
# Staging Reply Template
|
||||
|
||||
## 回填模板
|
||||
|
||||
- frontend URL:
|
||||
- API URL:
|
||||
- Directus URL:
|
||||
- 測試帳號:
|
||||
- 權限角色:
|
||||
- token / session 方式:
|
||||
- site_id:
|
||||
- experiment_id:
|
||||
- variant_id:
|
||||
- release_id:
|
||||
|
||||
## 備註
|
||||
|
||||
- 本輪限制:
|
||||
- 已知問題:
|
||||
|
||||
24
docs/validation/templates/STAGING_REQUEST_PACKAGE.md
Normal file
24
docs/validation/templates/STAGING_REQUEST_PACKAGE.md
Normal file
@@ -0,0 +1,24 @@
|
||||
# Staging Request Package
|
||||
|
||||
## 目的
|
||||
|
||||
向環境管理者索取 staging 驗證必需資訊。
|
||||
|
||||
## 最小需要項目
|
||||
|
||||
1. 環境入口
|
||||
- frontend URL
|
||||
- API URL
|
||||
- Directus URL
|
||||
|
||||
2. 身份與權限
|
||||
- 測試帳號
|
||||
- 權限角色
|
||||
- token 提供方式
|
||||
|
||||
3. 最小測試資料
|
||||
- site / experiment / variant / release
|
||||
|
||||
4. 驗證範圍
|
||||
- 本輪要驗證的流程與限制
|
||||
|
||||
Reference in New Issue
Block a user