rubrub 님의 블로그

LLM에게 이런 말을 할 수 있을까? THE STRANGE REQUEST “너 그거 배웠지? 이제 그것만 잊어. 나머지는 그대로 기억하고.” 사람에게도 어려운 주문이다. 그런데 LLM에게는 더 이상하다. 모델 안에는 harry_potter.txt라는 파일이 따로 들어 있는 게 아니다. 수십억 개 parameter가 수많은 데이터의 통계적 패턴을 함께 나눠 갖는다. 그럼 한 번 학습한 데이터를 어떻게 지울까? MACHINE UNLEARNING 모델 전체를 처음부터 다시 학습하지 않고, 특정 training data의 영향만 선택적으로 제거하려는 연구...

이번에는 Azure ML에서 모델을 배포하고, Online/Batch Endpoint를 통해 모델을 실제로 사용하는 흐름에 대해서 정리하였다. 현재 회사에서 진행하고 있는 프로젝트에서는 Online Endpoint만 사용하고 있지만 Batch Endpoint 개념도 확실히 잡고 넘어가고자 한다. Online Endpoint란?Azure ML의 Online Endpoint는 실시간 추론을 위한 REST API 진입점이다. 애플리케이션에서 실시간으로 데이터를 전송하고, 그에 대한 예측 결과를 바로 받아야 하는 경우 사용된다. 예를 들어 웹사이트에서 사용자의 행동을 바탕으로 실시간 광고 추천을 할 때 유용하다.왜 필요한가?REST API 형태로 모델 서빙 가능실시간 응답 처리트래픽 분산 및 A/B 테스트 지원..

2025-06-30INTRO최근 회사에서 Azure 기반 MLOps 프로젝트를 진행하며 Azure ML, ACR, Blob Storage에 대한 이해가 필수라는 것을 느꼈다. 이와 함께 Docker를 제대로 활용해야 실제 실무에서 유연하고 안정적인 ML 파이프라인을 구성할 수 있다는 판단이 들었다.이 글에서는 Azure에서 Docker를 활용한 학습 및 서빙 구조를 실무 중심으로 정리해본다.Azure에서 Docker가 필요한 이유Docker는 MLOps의 핵심 기술이다. Azure 환경에서는 다음과 같은 이유로 Docker를 실무에서 필수로 사용하게 된다.모델 학습 환경의 일관성 보장다양한 Azure 리소스 (Azure ML, AKS 등)에서 실행 가능이미지 기반 버전 관리와 배포 추적 가능DevOps ..