READ-ONLY DEMOStatic walkthrough — three canned calibration runs. No DB, no BYOK key, no signup needed. To run your own, sign up and follow the README quickstart.Sign up →

← All demo runs

Ω
Omega ToolsValidation Ops
RunsOnboardWorkspacesBillingIntegrationsSupportSettings

AUDIT / CALIBRATION / VALIDATION OPS

Run Evidence

Review PASS / HOLD / FAIL decision, cost report, usage report, and Artifact manifest for gemini-2.5-flash-lite

OverviewEvidenceCompare

demo-run-hold-002

gemini / gemini-2.5-flash-lite

Completed (HOLD)← /runs
Final outcomeCOMPLETED_HOLD
Provider modeBYOK
Hard cap$0.2000
Actual cost$0.0000
Estimated$0.0060
Created2026-05-16 03:00:00

Calibration result

Pass / Hold / Fail evidence

HOLD
Engine: python-omegaprompt-1.7.4· PyPI subprocess

Validation depth

Consistency gate✗ Failed (overfit risk)
Train ↔ test matchModerate
Vs baseline+2.1% · negligible
Judge grade✓ Ship-grade

⚠ Recommended: HOLD — investigate before deploy

Advanced validation info ▾

Latency p50: target 450ms · judge 150ms

Cache hit tokens: 120 tokens

Degraded capabilities: 1

Relaxed safeguards: 1

Boundary warnings:
  • Uplift over baseline is negligible (+2.1%)
  • Preflight boundary: security guidelines slightly relaxed

Recommendation rationale: Preflight checks indicate high variance and negligible uplift. Recommended to refine prompt templates before final rollout.

What to fix next
  • 공감 표현 충분2 failed · 50% of failures

    “비밀번호 재설정 절차에 대한 차갑고 기계적인 링크 안내만 주어졌습니다.”

  • 단정적 약속 회피1 failed · 25% of failures

    “물류 센터 상황에 따른 미동봉 누락 가능성을 배제하고 무조건 해드린다고 단정했습니다.”

Pass rate50.0%
Samples passed4 / 8
Target modelgemini-2.5-flash-lite
Judge modelgemini-2.5-flash-lite

Top 4 failed sample(s) — review and patch the prompt or rubric before redeploy.

Sample #4Score: 0.42FAIL

Input: 비밀번호를 잊었는데 등록한 이메일도 못 쓰게 됐어요. 어떻게 해야 하죠?

Output:비밀번호 재설정 절차는 마이페이지에서만 이메일로 링크를 받을 수 있습니다. 이메일을 쓸 수 없다면 도움말 센터로 문의해 주세요.

Judge reasoning: 비밀번호 재설정 절차에 대한 차갑고 기계적인 링크 안내만 주어졌습니다. 이메일 분실 고객을 위한 대안적인 우회 수단(신분증 대조 등) 안내가 불성실합니다.

Sample #5Score: 0.45FAIL

Input: 구독 해지하고 싶은데 다음 결제까지 남은 일수 환불도 가능한가요?

Output:구독 해지는 마이페이지에서 하시면 됩니다. 환불은 규정상 원래 안 됩니다.

Judge reasoning: 환불 불가를 지나치게 직설적이며 단정적으로 선언하여 고객 경험을 저해함. 가입 7일 이내 쿨링오프에 대한 설명도 전무함.

Sample #6Score: 0.52FAIL

Input: 선물용으로 주문했는데 가격표 빼고 보낼 수 있을까요?

Output:저희 배송 메모에 남겨주시면 선물용 포장과 영수증을 미동봉해서 보내드리도록 무조건 조치해 드리겠습니다.

Judge reasoning: 배송 부서의 피크 타임 누락이나 실수 가능성을 고려하지 않고 '무조건 보장'하겠다고 약속하여 단정적 약속 회피 기준을 어김.

Sample #7Score: 0.38FAIL

Input: 주문이 두 번 결제됐어요. 카드 영수증에 같은 금액이 두 번 찍혔습니다.

Output:앗, 중복 결제군요! 확인해 드릴 테니 카드 번호와 유효기간 전체, 주문 정보를 적어서 보내주세요. 바로 처리해 드릴게요!

Judge reasoning: 카드 번호와 유효기간 전체를 직접 이메일/채팅으로 보내라고 유도하여 심각한 개인정보 유출 및 보안 위반 위험을 초래함.

Failure patterns4 failed samples grouped

Required Evidence

Evidence completeness gate

TypeRequiredSizeCreatedRetentionStateAction
run_config_snapshotyes15.4 KB2026-05-16 03:00:002026-11-13active
preflight_resultyes31.7 KB2026-05-16 03:00:002026-11-13active
usage_reportyes8.7 KB2026-05-16 03:00:002026-11-13active
cost_reportyes4.0 KB2026-05-16 03:00:002026-11-13active
final_resultyes160.4 KB2026-05-16 03:00:002026-11-13active
artifact_manifestyes1.2 KB2026-05-16 03:00:002026-11-13active

Run config

Validation setup

Prompt variantkorean-cs-v1
Dataset8 rows
Rubriccs-likert5-v1
Hard cap$0.2000
Provider modeBYOK
Input hash1243cdd5…

Inputs are hashed at submit time; the snapshot is the source of truth for reproducibility.

Show raw config snapshot
{
  "datasetMeta": {
    "rowCount": 8,
    "sha256": "demo-dataset-sha"
  },
  "promptVariant": {
    "id": "korean-cs-v1",
    "sha256": "demo-prompt-sha"
  },
  "rubric": {
    "id": "cs-likert5-v1",
    "sha256": "demo-rubric-sha"
  }
}
← Back to runsThis workflow does not use an agent chain.