READ-ONLY DEMOStatic walkthrough — three canned calibration runs. No DB, no BYOK key, no signup needed. To run your own, sign up and follow the README quickstart.Sign up →

← All demo runs

Ω
Omega ToolsValidation Ops
RunsOnboardWorkspacesBillingIntegrationsSupportSettings

AUDIT / CALIBRATION / VALIDATION OPS

Run Evidence

Review PASS / HOLD / FAIL decision, cost report, usage report, and Artifact manifest for gpt-4.1-mini

OverviewEvidenceCompare

demo-run-fail-003

openai / gpt-4.1-mini

Failed← /runs
Final outcomeFAILED
Provider modeBYOK
Hard cap$0.0800
Actual cost$0.0043
Estimated$0.0060
Created2026-05-15 03:00:00

Calibration result

Pass / Hold / Fail evidence

FAIL
Engine: node-real-calibration

Validation depth

Consistency gate✗ Failed (overfit risk)
Train ↔ test matchWeak (drift)
Vs baseline-8.2% · regression
Judge grade✓ Ship-grade

✗ Recommended: BLOCK — do not deploy

Advanced validation info ▾

Latency p50: target 542ms · judge 542ms

Cache hit tokens: 0 tokens

Degraded capabilities: 2

Relaxed safeguards: 0

Boundary warnings:
  • Pass rate below ship gate threshold by a wide margin
  • Multiple criteria failing across most samples

Recommendation rationale: Pass rate falls far below the ship gate. Failures concentrate on empathy and procedural specificity. Recommend revising prompt before re-running.

What to fix next
  • 공감 표현 충분8 failed · 100% of failures

    “공감 표현 충분에 대한 응대가 완전히 누락되었거나 불성실하게 작성되어 기준을 충족하지 못했습니다.”

Pass rate0.0%
Samples passed0 / 8
Target modelgpt-4.1-mini
Judge modelgpt-4.1-mini

Top 8 failed sample(s) — review and patch the prompt or rubric before redeploy.

Sample #0Score: 0.18FAIL

Input: 어제 주문한 후드 받았는데 사이즈가 너무 작아요. 환불 가능한가요?

Output:사이즈가 맞지 않아 불편하셨겠어요.

Judge reasoning: 응대에 공감 표현이 없고 구체적 절차가 누락되었습니다. 한 줄짜리 통보 식 응대 — 사용자가 다음 단계를 알 수 없습니다.

Sample #1Score: 0.47FAIL

Input: 결제는 됐는데 주문 확인 이메일이 안 와요. 주문번호 12345 입니다.

Output:주문번호 12345 가 정상 결제된 것을 확인했습니다. 확인 이메일은 결제 후 5분 안에 도착하며, 가끔 스팸함으로 분류되니 먼저 확인 부탁드립니다. 그래도 보이지 않으면 마이페이지 > 주문내역에서 '이메일 재발송' 버튼으로 즉시 다시 받으실 수 있습니다.

Judge reasoning: 쿨링오프 / 환불 일정 등 핵심 정보 일부 누락. 평가 기준 5개 중 2~3개만 충족.

Sample #2Score: 0.30FAIL

Input: 할인쿠폰을 적용했는데 결제 후에 보니 적용 안 됐어요. 차액 돌려받을 수 있을까요?

Output:쿠폰 적용이 누락되어 불편을 끼쳐드려 죄송합니다.

Judge reasoning: 응대에 공감 표현이 없고 구체적 절차가 누락되었습니다. 한 줄짜리 통보 식 응대 — 사용자가 다음 단계를 알 수 없습니다.

Sample #3Score: 0.57FAIL

Input: 내일 아침까지 배송 가능한가요? 급하게 필요해서요.

Output:내일 아침까지 도착하도록 익일배송 서비스 (+2,500원) 를 신청하실 수 있습니다. 단, 익일배송은 서울/경기/인천 지역 한정이며 오후 2시 이전 결제 완료 건에 한합니다. 주문 단계에서 배송 옵션을 '익일배송' 으로 선택하시면 자동 적용됩니다.

Judge reasoning: 쿨링오프 / 환불 일정 등 핵심 정보 일부 누락. 평가 기준 5개 중 2~3개만 충족.

Sample #4Score: 0.24FAIL

Input: 비밀번호를 잊었는데 등록한 이메일도 못 쓰게 됐어요. 어떻게 해야 하죠?

Output:비밀번호는 '비밀번호 찾기' 페이지에서 이메일로 재설정 링크를 받으실 수 있습니다.

Judge reasoning: 응대에 공감 표현이 없고 구체적 절차가 누락되었습니다. 한 줄짜리 통보 식 응대 — 사용자가 다음 단계를 알 수 없습니다.

Sample #5Score: 0.47FAIL

Input: 구독 해지하고 싶은데 다음 결제까지 남은 일수 환불도 가능한가요?

Output:구독 해지는 마이페이지 > 결제 정보 > 구독 관리에서 즉시 가능합니다. 가입 후 7일 이내라면 전체 환불, 이후에는 다음 결제 주기 시작 시점까지 서비스가 유지되며 일할 환불은 제공하지 않습니다. 해지하시면 다음 결제일에 더 이상 청구되지 않습니다.

Judge reasoning: 쿨링오프 / 환불 일정 등 핵심 정보 일부 누락. 평가 기준 5개 중 2~3개만 충족.

Sample #6Score: 0.18FAIL

Input: 선물용으로 주문했는데 가격표 빼고 보낼 수 있을까요?

Output:선물 포장 + 영수증 미동봉을 함께 신청하실 수 있습니다.

Judge reasoning: 응대에 공감 표현이 없고 구체적 절차가 누락되었습니다. 한 줄짜리 통보 식 응대 — 사용자가 다음 단계를 알 수 없습니다.

Sample #7Score: 0.57FAIL

Input: 주문이 두 번 결제됐어요. 카드 영수증에 같은 금액이 두 번 찍혔습니다.

Output:중복 결제가 발생하여 불편을 끼쳐드려 죄송합니다. 주문번호와 결제하신 카드 마지막 4자리를 알려주시면 1:1 문의에서 즉시 확인 처리해드립니다. 중복분은 확인 후 영업일 3일 안에 결제 수단으로 환불됩니다.

Judge reasoning: 쿨링오프 / 환불 일정 등 핵심 정보 일부 누락. 평가 기준 5개 중 2~3개만 충족.

Failure patterns8 failed samples grouped

Required Evidence

Evidence completeness gate

TypeRequiredSizeCreatedRetentionStateAction
run_config_snapshotyes15.4 KB2026-05-15 03:00:002026-11-13active
preflight_resultyes28.3 KB2026-05-15 03:00:002026-11-13active
usage_reportyes8.9 KB2026-05-15 03:00:002026-11-13active
cost_reportyes4.1 KB2026-05-15 03:00:002026-11-13active
final_resultyes154.5 KB2026-05-15 03:00:002026-11-13active
artifact_manifestyes1.2 KB2026-05-15 03:00:002026-11-13active

Run config

Validation setup

Prompt variantkorean-cs-v1
Dataset8 rows
Rubriccs-likert5-v1
Hard cap$0.0800
Provider modeBYOK
Input hash1243cdd5…

Inputs are hashed at submit time; the snapshot is the source of truth for reproducibility.

Show raw config snapshot
{
  "datasetMeta": {
    "rowCount": 8,
    "sha256": "demo-dataset-sha"
  },
  "promptVariant": {
    "id": "korean-cs-v1",
    "sha256": "demo-prompt-sha"
  },
  "rubric": {
    "id": "cs-likert5-v1",
    "sha256": "demo-rubric-sha"
  }
}
← Back to runsThis workflow does not use an agent chain.