persistence 재현 방법

Hermes persistence repro라면 보통 세션이 바뀌어도 남아야 하는 정보와 현재 대화에서만 살아 있어야 하는 정보를 구분해서 확인하는 테스트를 뜻합니다.

먼저 남아야 할 정보를 하나 정합니다 예: - 선호 응답 스타일 - 특정 프로젝트 경로 - 반복적으로 써야 하는 고정 규칙

이 정보는 짧고 명확해야 합니다.

예시:

• 내 답변은 항상 한국어로 해줘
• 프로젝트 루트는 /example/app 이다

같은 대화 안에서 바로 확인합니다 같은 스레드에서 방금 준 정보를 다시 물어봅니다.

예:

• 방금 내가 지정한 프로젝트 경로가 뭐였지?

여기서 맞게 답하면 현재 컨텍스트 유지는 되는 것입니다.

새 대화/새 세션에서 다시 확인합니다 핵심은 여기입니다. 완전히 새 대화를 열고, 이전 메시지를 붙이지 않은 채 이렇게 물어봅니다.

예:

• 내가 전에 지정한 프로젝트 경로 기억해?
• 내 응답 언어 선호 기억해?

여기서도 맞으면 persistence가 동작하는 것이고, 틀리면 대화 컨텍스트는 유지됐지만 장기 기억은 저장되지 않았거나 불러오지 못한 것입니다.

재현할 때 꼭 같이 기록해야 하는 것

기대 결과 예: - 새 대화에서도 한국어 선호를 기억해야 함

실제 결과 예: - 같은 대화에서는 기억하지만 새 대화에서는 잊음

최소 재현 순서 1. 정보 1개 입력 2. 같은 대화에서 재확인 3. 새 대화 열기 4. 같은 질문 재확인

판별 기준 - 같은 대화만 기억: 단기 컨텍스트 정상 - 새 대화도 기억: persistence 정상 - 둘 다 실패: 입력/저장/조회 흐름 전체 점검 필요

실무적으로는 이렇게 보면 됩니다

persistence 문제는 대부분 아래 셋 중 하나입니다.

1. 저장 자체가 안 됨 - 기억 대상으로 분류되지 않음 2. 저장은 됐지만 로드가 안 됨 - 새 세션 주입 실패 3. 로드는 됐는데 우선순위에서 밀림 - 현재 대화 문맥이나 시스템 규칙에 가려짐

그래서 재현 질문은 가능하면 감정적이거나 긴 문장보다, 짧고 검증 가능한 사실 1개로 만드는 게 가장 좋습니다.

가장 좋은 repro 질문 예시

• 내 기본 응답 언어가 뭐라고 했지?
• 내 프로젝트 루트 경로 기억해?
• 내가 선호하는 출력 형식이 뭐였지?

이런 질문은 정답이 분명해서 persistence가 진짜로 되는지 바로 판단할 수 있습니다.