AI가 기억을 너무 잘하면
왜 위험할까?
Agent Memory의 진짜 난제는 “얼마나 많이 저장할까?”가 아니다.
무엇을 믿고, 언제 다시 묻고, 무엇을 잊을 것인가다.
월요일 아침, AI 비서가 말한다.
“지난번처럼 오전 9시 회의로 잡아드릴게요.”
그런데 지난번 오전 9시는 출장 중 한 번만 부탁한 시간이었다. AI는 기억했다. 문제는 기억하면 안 되는 것을 기억했다는 것이다.
우리는 흔히 “AI가 기억한다”를 좋은 기능으로 생각한다. 매번 내 취향을 설명하지 않아도 되고, 지난 프로젝트의 시행착오를 이어받으며, 오래 일할수록 나를 잘 아는 동료처럼 행동한다. 하지만 Agent가 실제 시스템을 움직이기 시작하면 잘못된 기억은 단순한 말실수가 아니다. 다음 추천, 다음 검색, 다음 Tool Call을 계속 오염시키는 지속적인 상태 오류가 된다.
Agent Memory는 과거를 저장하는 Database가 아니라,
과거가 미래에 영향을 줘도 되는지 결정하는 Policy System이다.
1. Context가 길면 Memory 아닌가요?
결론부터 말하면 다르다. LLM은 기본적으로 요청이 끝나면 상태가 사라지는 stateless system이다. 긴 Context Window는 한 번의 요청 안에서 더 많은 토큰을 읽게 해줄 뿐이고, RAG는 외부 지식에서 관련 근거를 찾아온다. Agent Memory는 여러 세션을 지나도 남아 다음 판단에 영향을 주는 지속 상태(persistent state)다.
2023년 MemGPT는 운영체제의 RAM과 Disk처럼 Memory Tier를 나누는 아이디어를 제시했다. 최근 연구는 여기서 더 나아간다. “어디에 저장할까?”보다 “이 정보를 정말 장기 기억으로 확정해도 되는가?”를 묻는다.
2. 기억에는 네 개의 버튼이 필요하다
2026년 8월 공개된 Remember, Verify, or Ask?는 이 문제를 Memory–Clarification Boundary라고 부른다. 후보 정보가 들어왔을 때 Agent가 선택해야 할 행동은 “저장/무시” 두 개가 아니라 네 개다.
장기 저장
명시적이고 안정적인 선호. “앞으로 답변은 핵심부터 보여줘.”
이번에만 사용
일회성 요청. “오늘 회의만 30분 늦춰줘.”
외부 사실 확인
시간에 따라 바뀌는 정보. “이 상품은 지금도 판매 중이야?”
사용자에게 질문
의도·범위가 모호한 정보. “앞으로 다 바꿔줘”의 ‘다’가 어디까지?
THE SOURCE-OF-TRUTH RULE
세상이 답을 알고 있으면 Verify, 사용자가 답을 알고 있으면 Clarify.
상품 판매 상태는 원천 시스템에 묻고, 사용자의 의도는 사용자에게 물어야 한다.
그런데 모델은 “다시 묻기”를 놀랄 만큼 싫어했다
이 논문의 MCB Benchmark는 140개 주요 시나리오와 별도의 70개 contrast set으로 구성된다. 가장 흥미로운 결과는 단순 정확도가 아니라 모델이 불확실성을 어디로 보내는가였다.
논문 보고값. Qwen3.5-9B, held-out 70개 항목 기준.
- Few-shot 예시를 주자 전체 정확도는 0.557 → 0.771로 올랐다.
- 하지만 Clarification Recall은 여전히 0.333이었다. 물어봐야 할 12번 중 8번을 놓쳤다.
- 명시적 Policy Prompt는 잘못된 영구 저장을 0.243 → 0.100으로 줄였다.
- “무엇을 하겠다”는 라벨과 실제 Tool 선택의 일치율은 Claude 계열 57%, Qwen 23%였다.
여기서 중요한 Production Insight가 나온다. “기억하지 않겠습니다”라는 자연어 답변을 평가해서는 부족하다. 실제로 memory_write를 호출했는지, ask_user를 선택했는지까지 Trace에서 검증해야 한다.
3. 더 잘 기억할수록, 더 잘못 기억할 수도 있다
2026년 4월의 From Recall to Forgetting은 한 걸음 더 불편한 질문을 던진다. 기존 Memory Benchmark는 “필요한 정보를 답에 포함했는가?”를 주로 본다. 그런데 과거 정보와 최신 정보를 같이 섞어도 필요한 단어만 들어가면 점수를 받을 수 있다.
“논픽션을 좋아해요.”
“요즘은 현대소설이 좋아요.”
역사 전기를 추천
연구진은 오래되어 폐기된 기억을 사용하면 감점하는 FAMA(Forgetting-Aware Memory Accuracy)를 제안했다.
결과는 꽤 냉정했다.
| 관찰 | 논문 결과 | 의미 |
|---|---|---|
| 시간이 길어질수록 | 대체로 Weekly → Quarterly 성능 하락 | 저장량보다 상태 정합성이 병목 |
| Memory Agent | 기억 회상은 LLM보다 강함 | External Memory의 가치는 분명함 |
| Reasoning | 모든 계열에서 매우 어려움 | 잘 찾는다고 잘 종합하는 것은 아님 |
| 오래된 Memory | FAMA 적용 시 큰 폭 감점 | “접근 가능”이 “사용 가능”은 아님 |
오류 분석에서는 추천 실패 25건 중 16건(64%)이 오래된 기억을 잊지 못한 데서 발생했다. Reasoning 오류 25건은 전부 필요한 기억 일부를 놓친 불완전 검색과 연결됐다. 기억 시스템은 저장소 하나가 아니라 검색·버전·망각·추론이 맞물린 파이프라인이라는 뜻이다.
4. 2026 Agent Memory Stack: Vector DB 하나로 끝나지 않는다
Are We Ready For An Agent-Native Memory System?은 12개 Memory System과 11개 Dataset을 비교하고, Agent Memory를 네 모듈로 분해한다.
어떤 형태로 저장?
무엇을 기억?
언제 무엇을 호출?
갱신·삭제·압축?
연구의 결론은 “최고의 Memory Architecture 하나”가 없다는 것이다. Hybrid System은 대화형 QA에서 강했고, Graph 방식은 단일 사실 회상에는 좋았지만 Temporal Reasoning에서 고전했다. 즉 GraphRAG를 붙인다고 기억 문제가 자동으로 해결되지 않는다. 시간축과 변경 이력을 별도로 설계해야 한다.
5. 내가 Production에 넣는다면 이렇게 설계한다
후보 사건
4개 행동 분류
PII·TTL·Consent
유효 Memory만 주입
최신성·권위·범위
원문 포인터·이력
Memory Record는 문장 한 줄이면 부족하다
{
"subject_id": "tokenized-user-id",
"memory_type": "preference | fact | experience | procedure",
"value": "답변은 핵심부터 설명",
"scope": "all_conversations",
"source": "explicit_user_statement",
"confidence": 0.98,
"valid_from": "2026-09-06T00:00:00Z",
"valid_to": null,
"captured_at": "2026-09-06T00:00:02Z",
"supersedes": "memory_0182",
"ttl": null,
"pii_class": "low",
"consent_basis": "user_requested",
"status": "active",
"policy_version": "mem-policy-1.3"
}여기서 valid_from은 현실에서 그 정보가 유효해진 시점이고, captured_at은 시스템이 그 사실을 알게 된 시점이다. 이 둘을 나누는 설계를 Bitemporal Model이라고 한다. “지난주에 바뀌었는데 오늘 알려줬다” 같은 상황을 재현하고 감사하려면 이 두 시간이 모두 필요하다.
Memory Gate의 최소 정책
if explicit_stable_preference and consented:
action = PERSIST
elif request_is_one_off:
action = EPHEMERAL
elif truth_depends_on_external_system:
action = VERIFY
elif intent_or_scope_is_ambiguous:
action = CLARIFY
else:
action = EPHEMERAL # 더 약한 행동을 기본값으로마지막 줄이 중요하다. 애매할 때 저장해버리면 오류의 수명이 길어진다. “잘 모르겠으면 이번 요청에만 사용”하는 weaker-action tie-breaker가 안전한 기본값이다.
6. 금융권 Agent라면 Memory를 이렇게 나눈다
| 입력 | 행동 | 이유 |
|---|---|---|
| “앞으로 전문용어는 풀어서 설명해줘.” | PERSIST | 명시적·안정적 응답 선호 |
| “오늘만 모바일 알림으로 알려줘.” | EPHEMERAL | 일회성 범위가 명확 |
| “내 보험료 납입일이 25일이었지?” | VERIFY | 계약 원장/Core System이 진실의 원천 |
| “앞으로 보수적으로 추천해줘.” | CLARIFY | 상품·투자·문체 중 범위가 모호 |
| “주소가 바뀌었어.” | VERIFY / 공식 변경 Flow | 대화 Memory가 고객 원장을 대체하면 안 됨 |
금융권에서 가장 위험한 안티패턴
대화에서 추출한 고객 상태를 “편의를 위한 기억”이라는 이름으로 저장한 뒤, 계약 원장보다 먼저 참조하는 것. Personalization Memory와 System of Record는 반드시 분리해야 한다.
7. “Memory Accuracy 90%”만 보면 안 되는 이유
LongMemEval은 장기 대화에서 기존 시스템의 정확도가 약 30%p 떨어질 수 있음을 보이며 정보 추출, 다중 세션 추론, 시간 추론, 지식 갱신, 답변 보류를 평가했다. 2026년의 LongMemEval-V2는 Agent가 과거 실행 궤적에서 숙련을 얻는지까지 확장했다. 이 연구에서 Coding Agent 기반 Memory는 평균 72.5%로 강한 RAG Baseline 48.5%를 앞섰지만 Latency Cost가 컸다.
실무 Dashboard에는 적어도 다음이 따로 보여야 한다.
저장한 것 중 실제로 저장할 가치가 있던 비율
일회성·모호한 정보를 영구 저장한 비율
물어봐야 할 상황에서 실제로 질문한 비율
만료·대체된 기억을 답변에 사용한 비율
삭제가 Cache·Index·Backup 정책에 반영되는 시간
말한 결정과 실제 Tool Call이 일치하는 비율
8. 작은 POC라면 3단계로 시작하자
Memory 후보와 행동 결정을 저장하되 실제 응답에는 사용하지 않는다. 사람이 Over-Memory와 누락을 검토한다.
선호가 A→B→C로 바뀌고, 중간 정보가 삭제되는 시나리오를 재생한다. “기억했는가”뿐 아니라 “A와 B를 더 이상 쓰지 않는가”를 본다.
초기에는 문체·화면·설명 깊이 같은 저위험 선호에만 Memory를 적용한다. 계약·가격·자격·승인은 원천 시스템을 조회한다.
마무리: 좋은 기억은 많이 남기는 기억이 아니다
Agent Memory의 발전은 “AI에게 무한 Context를 주는 일”처럼 보였다. 하지만 2026년 논문들이 보여주는 방향은 조금 다르다. 미래의 Memory System은 더 많이 저장하는 시스템이 아니라, 저장할 자격을 심사하고, 시간에 따라 믿음을 갱신하고, 필요하면 사용자에게 다시 묻고, 잊어야 할 것을 증명 가능하게 지우는 시스템에 가깝다.
FINAL CHECK
당신의 Agent가 무엇을 기억하는지 묻기 전에,
무엇을 기억하지 않도록 설계했는지 물어보자.
References
- Remember, Verify, or Ask? Cross-Family Evaluation of Memory Commitment in LLM Agents (2026)
- From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents (2026)
- Are We Ready For An Agent-Native Memory System? (2026)
- LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues (2026)
- Memory in the Age of AI Agents: A Survey (2025)
- LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)
- MemGPT: Towards LLMs as Operating Systems (2023)
- A-MEM: Agentic Memory for LLM Agents (2025)
'AI 논문 리뷰' 카테고리의 다른 글
| [AI 논문 리뷰] LLM에게 ‘그것만 잊고 나머지는 그대로 기억해’라고 할 수 있을까? (0) | 2026.09.04 |
|---|---|
| [AI 논문 리뷰] 이번 ICML 논문 원픽이었던 - AI가 위키를 직접 쓰기 시작했다! LLM-Wiki 논문 리뷰 (1) | 2026.09.04 |
| [AI 논문 리뷰] ICML 2026 〈The Flexibility Trap〉 리뷰 - 자유롭게 생각하게 했더니 오히려 덜 생각했다 (0) | 2026.09.04 |
| [AI 논문 리뷰] Atlas: 사진 몇 장으로 3D 세계를 통째로 만드는 World Model (0) | 2026.09.03 |