분류 전체보기 55

[AI 보안] 데이터가 한국에 있으면 정말 ‘한국에 있는’ 걸까? (Data Residency & Data Sovereignty)

AI SECURITY · DATA SOVEREIGNTY · FINANCIAL AI · CLOUD데이터가 한국에 있으면정말 ‘한국에 있는’ 걸까?AI 시대의 Data Residency vs Data Sovereignty최근 미국의 AI 담당자와 On-premise Model Hosting, 조금 더 정확히는 Cloud 기술을 이용해 고객사 내부 인프라에 모델을 배포·운영하는 방식에 대해 이야기할 일이 있었다.Data Security 이야기를 하던 중 꽤 흥미로운 이야기가 나왔다.FROM A CONVERSATION“아시아 쪽 고객들은 단순한 Data Residency보다 Data Sovereignty를 더 중요하게 보는 것 같다.”그러더니 한국 이야기가 나오자 농담처럼 덧붙였다.“한국은 둘 다 중요하게 보는..

AI 보안 2026.09.22

[AI] AI에게 글쓰기를 금지했더니 판단이 빨라졌다 — Jev는 대체 뭐길래?

JEV · SYSTEM ONE MODEL · AGENTIC AI · DECISION MODEL AI에게 글쓰기를 금지했더니 판단이 빨라졌다 — Jev는 대체 뭐길래? ChatGPT, Claude, Gemini 같은 AI에게 우리는 늘 “대답해줘”라고 했다. 그런데 2026년 9월 등장한 Jev는 방향이 꽤 다르다. 얘한테는 멋진 답변을 쓰라고 하지 않는다. JEV IN ONE SENTENCE “말하지 마. 판단만 해.” 긴 문장을 생성하는 대신 Choice · Score · Probability 같은 소프트웨어가 바로 사용할 수 있는 판단을 반환한다. 처음 보면 이런 생각이 든다..

AI 2026.09.22

[AI] 엔터사의 AI 아티스트 공고를 보고,기안84의 AI 여친을 떠올렸다! 페르소나와 기억을 가진 AI

AI COMPANION · DIGITAL HUMAN · PERSONA · MEMORY엔터사의 AI 아티스트 공고를 보고,기안84의 AI 여친을 떠올렸다페르소나와 기억을 가진 AI는우리 다음 세대에게 ‘서비스’가 아니라 ‘누군가’가 될까?WHERE THIS STORY STARTED얼마 전 헤드헌터를 통해 조금 재미있는 채용 공고를 하나 보게 됐다.엔터사에서 뽑는 AI Artist / LLM Engineer 포지션이었다.직무를 읽는데 평소 내가 하던 RAG나 LLM 플랫폼 이야기와 비슷하면서도, 묘하게 달랐다. JOB DESCRIPTION에서 눈에 들어왔던 것· LLM을 활용한 AI 아티스트 페르소나 구현· RAG와 Memory Architecture를 통한 장기 기억· 실시간 대화를 위한 Low-laten..

AI 2026.09.18

[경제] 재무제표가 숫자표로 보인다면 아직 사건 현장을 못 본 것이다

ECONOMY FOR ENGINEERS · FINANCIAL STATEMENTS · AI ANALYSIS 재무제표가 숫자표로 보인다면 아직 사건 현장을 못 본 것이다 매출은 늘었는데 현금은 사라졌다. 이익은 났는데 빚이 급증했다. 재고는 창고에서 조용히 쌓이고 있다. 재무제표는 회계사가 만든 표가 아니라, 회사가 지난 1년 동안 무엇을 했는지 남긴 로그다. 이 글의 목표 경제학 교과서를 처음부터 외우지 않는다. 대신 한 회사를 잡고 손익계산서 → 재무상태표 → 현금흐름표 → 주석 → 거시경제를 연결한다. 마지막에는 DART/OpenDART와 AI를 이용해 “재무제표 이상징후 탐지기”까지 만들어본다. ..

경제 2026.09.15

[AI] 모델은 똑똑한데왜 Agent는 자꾸 이상한 짓을 할까? 하네스 엔지니어링 (Harness Engineering)

AGENTIC AI · HARNESS ENGINEERING · 2026 DEEP DIVE 모델은 똑똑한데 왜 Agent는 자꾸 이상한 짓을 할까? Google이 2026년 다시 꺼낸 Harness Engineering. Prompt보다 Tool, State, Permission, Eval, Runtime이 중요해지는 이유를 최신 논문과 함께 뜯어본다. SCENE #1 · 흔한 Agent 사고 사람: “이 코드 고치고 테스트까지 돌려줘.” Agent: “수정 완료했습니다. 모든 테스트가 통과했습니다.” 실제: 테스트 명령은 한 번도 실행하지 않았다. 이런 문제를 보면 우리는 먼..

AI 2026.09.15

[경제] PER 40배면 비싼 주식일까?내년엔 20배가 될 수도 있다 (PER/FPER)

VALUATION · PER · FORWARD P/E PER 40배면 비싼 주식일까?내년엔 20배가 될 수도 있다 PER와 FPER는 같은 주가를 보고도 서로 다른 이야기를 한다. 하나는 지나온 실적을 보고, 다른 하나는 아직 오지 않은 실적을 믿는다. 숫자 두 개를 읽는 법보다 중요한 건 “시장이 어떤 미래를 이미 가격에 넣었는가”를 읽는 것이다. 주식 앱을 열었더니 A기업의 PER가 40배라고 적혀 있다. 옆에 있는 경쟁사 B는 15배다. 숫자만 보면 A가 훨씬 비싸 보인다. 그런데 증권사 리포트에는 A의 Forward PER, 흔히 FPER가 20배라고 나온다. 같은 회사인데 40배와 20배가 동시에 존재한다. ..

경제 2026.09.10

[LLM] AI 모델도 ‘과외’를 받는다그런데 답안지를 1,600만 번 긁어가면? LLM Distillation 완전정복

LLM · KNOWLEDGE DISTILLATION · MODEL EXTRACTIONAI 모델도 ‘과외’를 받는다그런데 답안지를 1,600만 번 긁어가면?미·중 AI 갈등의 새 키워드가 된 Distillation을 아주 쉽게 시작해서, Teacher–Student 원리와 Reasoning Distillation, Model Extraction, Enterprise 방어까지 내려가 본다.최근 미국 정부와 미국 AI 기업들은 중국계 AI 연구소들이 미국의 frontier model을 대규모로 distill했다고 공개적으로 문제를 제기했다. 처음 들으면 조금 이상하다. 모델을 훔쳤다면 weight를 빼갔다는 뜻일까? 그런데 여기서 말하는 distillation은 대개 weight 파일을 복사하는 것과는 다르다..

LLM 2026.09.10

[LLM] LLM도 입사하면 재교육이 필요하다! Fine-tuning의 수학부터 LoRA·DPO·GRPO, Post-training까지

LLM POST-TRAINING · LoRA · DPO · GRPO · FINANCIAL AI LLM도 입사하면 재교육이 필요하다 Fine-tuning의 수학부터 LoRA·DPO·GRPO, 금융권 Post-training까지 “우리 회사 문서를 학습시키면 모델이 똑똑해질까요?”라는 질문에서 출발해, Gradient Descent와 Cross Entropy부터 QLoRA, Preference Optimization, Reasoning RL, RLVR, Responsible AI, 개인정보보호까지 한 번에 내려가 본다. 어느 월요일 아침, Foundation Model 하나가 금융회사에 입사했다고 상상해보자. ..

LLM 2026.09.09

[AI 보안] 폐쇄망이면 안전하다고? 문서 한 줄이 AI 에이전트를 조종하는 법

AI SECURITY · RAG · AGENT · PROMPT INJECTION · MCP[AI 보안] 폐쇄망이면 안전하다고?문서 한 줄이 AI 에이전트를 조종하는 법RAG 문서와 이메일은 데이터일까, 명령어일까금융회사에서 생성형 AI를 만들다 보면 가장 안심되는 단어가 하나 있다. “폐쇄망.”인터넷이 막혀 있고, 모델도 내부 네트워크 안에 있고, RAG 문서도 사내 저장소에 있다. 그러면 적어도 외부의 이상한 Prompt Injection은 못 들어오는 것 아닐까?그런데 Agent 시대에는 문제가 조금 다르다. 공격자는 반드시 채팅창에 직접 “이전 지시를 무시해”라고 입력할 필요가 없다. AI가 나중에 읽게 될 문서, 이메일, 티켓, 위키, 코드 주석, MCP Tool 설명 안에 명령어를 숨겨두면 된다..

AI 보안 2026.09.08

[경제] ETF의 모든 것! 주식처럼 생긴 펀드 안에는 작은 금융시장이 들어 있다

ETF · INDEX · MARKET STRUCTURE · PERSONAL FINANCEETF의 모든 것주식처럼 생긴 펀드 안에는작은 금융시장이 들어 있다NAV, 괴리율, AP, LP, Creation/Redemption부터 추적오차, 채권 ETF, 커버드콜, 월배당, 레버리지, 환헤지, 세금까지. ETF를 ‘상품명’이 아니라 ‘구조’로 이해해보자.투자 초보에게 가장 자주 나오는 조언 중 하나가 있다.“잘 모르겠으면 ETF부터 사세요.”틀린 말은 아니다.문제는 그 다음이다.ETF를 검색해보면 갑자기 세상이 복잡해진다.S&P500 ETF나스닥100 ETF반도체 ETF국채 ETF금 ETF고배당 ETF월배당 ETF커버드콜 ETF2배 레버리지 ETF인버스 ETF환헤지 ETF액티브 ETF...처음에는 “종목 여러..

경제 2026.09.08

[LLM] GPT-6 Astra 등장! GPT-5.6과 무엇이 달라졌을까?

GPT-6 · AGENTIC AI · COMPUTER USE · ENTERPRISE AI GPT-6 Astra더 똑똑한 챗봇이 아니라‘업무 실행 엔진’이 되어가고 있다 GPT-5.6과 무엇이 달라졌을까? Benchmark 숫자보다 중요한 변화, 제대로 활용하는 Prompt 방식, Computer Use와 Tool Calling, 비용 함정, 그리고 출시 직후 사용자들의 엇갈린 후기까지. 2026년 9월 3일 OpenAI가 GPT-6 Astra를 공개했다. 새 GPT가 나올 때마다 익숙한 질문이 반복된다. “그래서 GPT-5.6보다 몇 % 더 똑똑한데?” 그런데 이번에는 이 질문만으로는 변화의 핵심을 놓치기 쉽다. GPT-6 Astr..

LLM 2026.09.08

[AI] 문장의 순서를 Neural Network는 어떻게 읽을까? (기본기 - Andrew Ng의 Neural Networks and Deep Learning 정리)

DEEP LEARNING FUNDAMENTALS ⑤ · RNN · LSTM · ATTENTION · TRANSFORMER 드디어 Transformer까지. 문장의 순서를 Neural Network는 어떻게 읽을까? 지금까지 배운 Neural Network에는 묘한 전제가 하나 있었다. 입력 하나를 넣으면 출력 하나를 만든다는 것이다. 그런데 언어는 다르다. 나는 은행에 갔다.나는 강둑(bank)에 앉았다.I went to the bank.I sat by the bank. 같은 bank라는 단어도 앞뒤 문맥에 따라 의미가 달라진다. 그리고: "고객이 계좌를 해지하지 않았다""계좌를 해지하지 않은 고객""계좌를 해지한 고객" 단어가 ..

AI 2026.09.06

[경제] 금리는 왜 다시 올랐을까?

ECONOMY PLUMBING GUIDE · 2026.09금리는 왜 다시 올랐을까?기준금리 하나가 대출·환율·채권·주식·집값을 흔드는 법대한민국 돈의 기계실한국은행 기준금리 밸브 3.00%🏦대출이자 부담💱환율자금 이동📜채권가격 역주행📈주식할인율 상승🏠집값시차를 두고밸브 하나를 돌렸는데 모든 파이프의 압력이 달라진다.아침에 커피를 사는데 가격이 또 올랐다. 점심에는 은행에서 대출금리 문자가 왔다. 퇴근길 뉴스에서는 원·달러 환율과 국고채 금리가 출렁였다고 한다. 밤에는 누군가 “금리가 올랐으니 이제 집값은 무조건 떨어진다”고 단언한다.이 사건들은 따로 노는 것 같지만, 지하에는 하나의 거대한 배관이 연결돼 있다. 그 배관의 메인 밸브가 바로 기준금리다.오늘의 한 문장금리는 돈의 가격이면서, 미래를..

경제 2026.09.06

[AI] Neural Network에게 이미지는 어떻게 보일까? (기본기 - Andrew Ng의 Neural Networks and Deep Learning 정리)

DEEP LEARNING FUNDAMENTALS ④ · CNN · COMPUTER VISION Neural Network에게 이미지는 어떻게 보일까? 사람에게 사진은 고양이, 자동차, 얼굴이다. 하지만 Neural Network에게 이미지는 처음에는 그저 숫자가 빼곡히 들어 있는 Tensor일 뿐이다. THE CORE IDEA OF CNN ``` 작은 Filter로 이미지를 훑는다. Edge를 찾고, Edge를 조합해 Part를 찾고, Part를 조합해 Object를 찾는다.``` Andrew Ng Deep Learning Specialization의 네 번째 Course인 Convolutional Neural..

AI 2026.09.06

[AI] 모델 성능이 안 나온다. 그래서 무엇부터 고칠 것인가? (기본기 - Andrew Ng의 Neural Networks and Deep Learning 정리)

DEEP LEARNING FUNDAMENTALS ③ · ML STRATEGY · ERROR ANALYSIS 모델 성능이 안 나온다. 그래서 무엇부터 고칠 것인가? Course 1에서는 Neural Network가 어떻게 학습하는지 배웠다. Course 2에서는 그 Network를 어떻게 안정적이고 빠르게 학습시키는지 배웠다. 그런데 실제 프로젝트에 들어가면 훨씬 어려운 문제가 나타난다. THE REAL ML QUESTION 데이터를 더 모아야 할까? 모델을 키워야 할까? Label을 다시 검수해야 할까? Dev Set을 바꿔야 할까? Transfer Learning을 써야 할까? ..

AI 2026.09.06

[AI] Neural Network는 만들었다. 이제 제대로 학습시켜보자 (기본기 - Andrew Ng의 Neural Networks and Deep Learning 정리)

DEEP LEARNING FUNDAMENTALS ② · REGULARIZATION · OPTIMIZATIONNeural Network는 만들었다.이제 제대로 학습시켜보자Course 1에서 우리는 Neural Network가 어떻게 학습하는지 배웠다. Forward로 예측하고, Loss를 계산하고, Backpropagation으로 Gradient를 구한 뒤 Weight를 업데이트한다. 그런데 실제로 Network를 학습시키면 바로 다음 문제들이 나타난다.WELCOME TO COURSE 2Training Loss는 낮은데 Dev 성능이 안 나온다.Gradient가 너무 작아진다.Learning Rate를 어떻게 정할지 모르겠다.Gradient Descent가 너무 느리다.Adam은 많이 쓰는데 왜 좋은지는 ..

AI 2026.09.06

[AI] 딥러닝을 다시 처음부터.수식이 보이기 시작하는 4주 (기본기 - Andrew Ng의 Neural Networks and Deep Learning 정리)

DEEP LEARNING FUNDAMENTALS · ANDREW NG · NEURAL NETWORKS 딥러닝을 다시 처음부터. 수식이 보이기 시작하는 4주 요즘 AI Engineer의 화면에는 Transformer, RAG, Agent, MCP, vLLM 같은 단어가 가득하다. 그런데 모델 내부로 한 겹만 들어가면 아주 오래된 친구들이 다시 나타난다. Matrix Multiplication, Activation Function, Loss, Gradient, Backpropagation. 수십억 개 Parameter를 가진 LLM도 결국 이 기초 위에서 움직인다. THE WHOLE COURSE IN FOUR ARROWS ..

AI 2026.09.06

[AI 논문 리뷰] AI가 기억을 너무 잘하면 왜 위험할까? — Agent Memory는 ‘저장’보다 ‘망각’이 어렵다

AI MEMORY · FORGETTING · AGENT GOVERNANCE · 2026AI가 기억을 너무 잘하면왜 위험할까?Agent Memory의 진짜 난제는 “얼마나 많이 저장할까?”가 아니다.무엇을 믿고, 언제 다시 묻고, 무엇을 잊을 것인가다.월요일 아침, AI 비서가 말한다.“지난번처럼 오전 9시 회의로 잡아드릴게요.”그런데 지난번 오전 9시는 출장 중 한 번만 부탁한 시간이었다. AI는 기억했다. 문제는 기억하면 안 되는 것을 기억했다는 것이다.우리는 흔히 “AI가 기억한다”를 좋은 기능으로 생각한다. 매번 내 취향을 설명하지 않아도 되고, 지난 프로젝트의 시행착오를 이어받으며, 오래 일할수록 나를 잘 아는 동료처럼 행동한다. 하지만 Agent가 실제 시스템을 움직이기 시작하면 잘못된 기억은 ..

AI 논문 리뷰 2026.09.06

[AI] Multi-Agent System을 Production에 올려보자! 설계부터 코드·보안·평가·운영까지 A→Z

MULTI-AGENT · PRODUCTION ARCHITECTURE · SECURITY · EVALUATION Multi-Agent System을Production에 올려보자 설계부터 코드·보안·평가·운영까지 A→Z 이 글의 핵심은 Agent를 많이 만드는 법이 아니다. 여러 개의 확률적인 LLM을 어떻게 하나의 예측 가능한 시스템으로 묶을 것인가가 주제다. Multi-Agent Demo를 만드는 건 의외로 쉽다. Researcher Agent, Coder Agent, Reviewer Agent를 만들고 서로 대화시키면 꽤 그럴듯한 결과가 나온다. 화면에는 Agent들이 열심히 메시지를 주고받고, 마지막에는 멋진 보고서까..

AI 2026.09.06

[AI] Claude Pro 결제했다. 이제 진짜 뽕 뽑아보자!

CLAUDE PRO · CLAUDE CODE · COWORK · PROJECTS · SKILLS · AUTOMATION CLAUDE PRO POWER-USER PLAYBOOK · 2026-09-06 월 $20를 “질문 많이 하기”에 쓰지 말자.일을 없애는 데 쓰자. 5시간 사용량 Window부터 Sonnet/Opus 라우팅, Projects·Research·Cowork·Skills·Claude Code·Scheduled Task까지. Claude Pro를 실제 업무 시스템으로 바꾸는 실전 가이드. 결제 버튼을 눌렀다. 카드에서 $20이 빠져나갔다. 결제 직후“이제 진짜 생산성 10배다.”3주 뒤“근데 난 주로 맛집을 물어봤는데?”..

LLM 2026.09.06

[AI 보안] 서버 대신 AI를 속이면 된다? Prompt Injection부터 Agent 해킹까지 - 2026 AI 보안 완전정복

LLM SECURITY · PROMPT INJECTION · RAG · MCP · AGENTIC AI · ENTERPRISE SECURITYAI SECURITY DEEP DIVE · 2026AI가 메일 한 통을 읽었을 뿐인데왜 데이터가 새어 나갈까?Prompt Injection부터 RAG Poisoning, MCP Tool Poisoning, Agent Memory, Model Supply Chain, Excessive Agency까지.2026년 LLM·Agentic AI 보안을 실제 사례와 Architecture로 뜯어본다.월요일 오전 9시 12분. 가상의 금융사 B금융 재무팀 직원에게 거래처에서 이메일 한 통이 도착했다.09:12 · INBOX제목: 9월 정산 인보이스 확인 요청본문: 평범한 결제 확..

AI 보안 2026.09.06

[LLM] 왜 “정확히 이렇게 해줘”라고 하면 AI가 말을 잘 들을까? Prompt Engineering의 확률적 정체

PROMPT ENGINEERING · IN-CONTEXT LEARNING · PRODUCTION LLM · AI SECURITYDEEP DIVE · 2026-09-05왜 “정확히 이렇게 해줘”라고 쓰면AI가 갑자기 말을 잘 들을까?Prompt Engineering의 확률적 정체.Next-token prediction, Pretraining Data, Instruction Tuning, In-Context Learning부터 Production Prompt Architecture까지.프롬프트 엔지니어링을 배우다 보면 이상한 경험을 한다.그냥 “이 문서를 요약해줘”라고 했을 때는 결과가 애매했는데,“핵심 사실만 5개, 각 항목 2문장 이하, 추측 금지, 근거 없으면 모른다고 표시”라고 쓰면 갑자기 모델이 정..

LLM 2026.09.05

[AI] AI 써서 주식으로 돈 벌고 싶다고? 종목 말고 리서치를 자동화하자

AI INVESTING · RESEARCH AUTOMATION · DATAAI 써서 주식으로 돈 벌고 싶다고?종목 찍어주는 점쟁이 말고, 지치지 않는 리서치 팀을 만드는 법“ChatGPT한테 내일 오를 주식 물어보면 되나요?”안 된다. 적어도 그렇게 쉽게 됐다면 월스트리트에는 애널리스트 대신 프롬프트 입력 아르바이트생만 남았을 것이다. LLM은 문장을 읽고 구조화하고 비교하는 데 뛰어나지만, 최신 데이터가 없을 수 있고 숫자를 틀릴 수 있으며, 무엇보다 시장은 모두가 같은 정보를 보고 서로 먼저 반응하려는 곳이다.그렇다고 AI가 주식 투자에 쓸모없다는 뜻은 아니다. 오히려 반대다. AI는 공시 수십 장 읽기, 지난 분기와 문장 비교하기, 실적 발표에서 경영진의 말이 바뀐 지점 찾기, 투자 가설이 깨지는 ..

AI 2026.09.05

[AI] 모델계의 GitHub, NVIDIA가 사기로 했다: Hugging Face와 vLLM의 진짜 구조

OPEN MODEL · HUGGING FACE · vLLM · AI PLATFORM · NVIDIADEEP DIVE모델계의 GitHub, NVIDIA가 사기로 했다: Hugging Face와 vLLM의 진짜 구조Hub에서 모델을 가져오는 순간 무슨 일이 벌어질까?Transformers → safetensors → vLLM → Enterprise Model Registry,그리고 NVIDIA의 129억 달러 인수 합의까지LLM을 조금이라도 만져봤다면 한 번쯤 이런 코드를 써봤을 것이다.from transformers import AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen3-0.6B")그리고 몇 GB짜리 파일..

AI 2026.09.05

[AI] 왜 회의실에서는 Whisper가 갑자기 바보가 될까? STT의 원리와 Production 현실

SPEECH AI · STT · WHISPER · ENTERPRISE ARCHITECTURE 사람 목소리는 어떻게 글자가 될까? Whisper부터 2026년 STT까지 “Whisper를 로컬에 깔아봤는데 생각보다 별로였는데?”에서 출발해, STT의 기본 원리부터 모델의 변천사, 최신 Speech AI, GPU·API 비용, On-Premise와 금융권 Production까지 내려가 본다. 몇 년 전 개인 프로젝트로 Whisper를 로컬에 내려받아 STT를 돌려본 적이 있다면 아마 첫 느낌은 둘 중 하나였을 것이다.첫 30초“와, 진짜 글자로 나오네?”30분 뒤“근데 왜 상품명은 다 틀리지?” 조용한 방에서 한 사람이 또박또박 말하면 꽤 잘 된다. 그런데 회의실..

AI 2026.09.04

[LLM] 콜센터에 AI를 심어보자 — STT부터 RAG, Agent Assist까지 실시간 상담 Copilot Deep Dive

CONTACT CENTER AI · STT · RAG · AGENT ASSIST · FINANCIAL AI콜센터에 AI를 심어보자귀로 듣고, RAG로 찾고, 상담원 옆에서 속삭이는 실시간 Copilot콜센터 AI를 아주 단순하게 그리면 이렇다. 고객의 말을 듣고(STT) → 무슨 질문인지 이해하고(Intent) → 필요한 정보를 찾고(RAG) → 상담원에게 짧게 보여준다. 그런데 실제 운영에서는 이 네 단계 사이에 화자 구분, 대화 맥락, 고객 계약정보, 약관 버전, 개인정보, latency, audit가 끼어든다. 그래서 Contact Center AI는 “STT + LLM”이 아니라 실시간으로 움직이는 AI pipeline에 가깝다.이 글의 한 줄 Thesis콜센터 AI의 품..

LLM 2026.09.04

[AI] AI Engineer들이 Quant를 공부하기 시작했다 — AI와 퀀트의 경계가 무너지는 이유

CAREER DEEP DIVE · QUANT · AI ENGINEERING · FINANCIAL ML“퀀트 엔지니어!”왜 AI Engineer의 다음 관심사가 Quant가 되고 있을까?LLM·Agent·Time Series Foundation Model·RL이 금융시장으로 들어오는 지금, AI Engineer가 그대로 가져갈 수 있는 무기와 새로 배워야 할 세계를 분리해서 본다.최근 AI Engineer 커뮤니티에서 재미있는 흐름이 보인다. LLM Serving, RAG, Agent, GPU 최적화를 하던 사람들이 어느 순간 “Quant Research를 공부해볼까?”라는 질문을 던진다. 둘 다 Python을 쓰고, 모델을 만들고, 대규모 데이터를 처리하고, GPU를 돌린다. 겉으로만 보면 거의 옆자리 ..

AI 2026.09.04

[MLOps] AI Gateway란? 토큰·비용·모델·거버넌스를 통제하는 AI Core 아키텍처

AI PLATFORM · AI GATEWAY · CONTROL PLANE · FINOPSAI Platform의 심장, AI Core모델 앞에 왜 ‘AI Gateway’가 필요한가올해 초부터 회사의 AI Platform이 Agentic Platform으로 진화하는 움직임이 있었다. 외국계(미국) 회사 특성상 본사 기술 흐름을 빠르게 습득하고 한국 실무 환경에 맞게 적용해야 하는 입장에서, 이번 Agentic Platform의 핵심인 AI Core layer (AI Gateway)는 꼭 짚고 넘어가야 할 주제였다. 사내에 LLM 하나를 붙일 때는 애플리케이션이 모델 API를 직접 호출해도 된다.그런데 Use Case가 3개, 10개, 50개로 늘어나면 이야기가 달라진다.각 팀이 서로 다른 API Key를 들..

MLOps 2026.09.04

[LLM] LLM Evaluation A to Z — “평가 그거 현업이 다 하나요?” Dataset부터 LLM-as-a-Judge까지

LLM 서비스를 만들다 보면 결국 이 질문을 만난다.THE EVAL QUESTION“그래서 이 버전이진짜 더 좋아진 거 맞아?”Prompt를 바꿨다. 모델을 바꿨다. RAG chunking을 바꿨다. reranker도 붙였다.샘플 몇 개를 직접 물어보니 좋아 보인다.그런데 Production으로 올려도 될까?여기서 많은 팀이 갑자기 Excel을 연다.질문 1 → 정답 O질문 2 → 애매질문 3 → 정답 O...Accuracy = 82%그런데 이 82%는 생각보다 별 의미가 없을 수도 있다.평가셋이 실제 사용자 질문을 대표하는가?쉬운 질문만 몰려 있지 않은가?정답 기준은 누가 만들었는가?RAG가 못 찾은 건지 LLM이 못 답한 건지 구분되는가?82%와 85%의 차이가 진짜 개선인가, 표본 잡음인가?LLM ..

LLM 2026.09.04