Continual Learning 개념 정리: 모델이 잊지 않게 학습하는 방법

Continual Learning은 모델이 새로운 과제를 배우면서 이전에 배운 내용을 과도하게 잊지 않도록 만드는 학습 방법을 다룬다.

왜 어려운가

• 신경망은 새 데이터에 맞춰 가중치를 바꾸는 과정에서 이전 과제의 성능이 떨어질 수 있다.
• 이 현상을 catastrophic forgetting이라고 부른다.
• 현실의 데이터는 한 번에 모두 주어지기보다 시간에 따라 계속 들어오는 경우가 많다.

대표 접근법

• 정규화 기반 방법은 중요한 파라미터가 크게 바뀌지 않도록 손실에 제약을 더한다.
• 리플레이 기반 방법은 과거 데이터를 일부 다시 보여 주거나 생성 샘플을 활용한다.
• 구조 확장 방식은 새 과제를 위해 네트워크 일부를 추가하거나 분리한다.

평가할 때 볼 점

• 새 과제 성능뿐 아니라 이전 과제 성능이 얼마나 유지되는지 함께 봐야 한다.
• 과제 순서가 결과에 영향을 주므로 여러 순서로 실험하는 편이 좋다.
• 메모리 사용량과 추가 학습 비용도 실제 적용에서 중요한 기준이다.

읽을 때 확인할 점

Continual Learning 개념 정리: 모델이 잊지 않게 학습하는 방법를 볼 때는 먼저 용어의 정의와 적용 조건을 분리해서 보는 것이 좋다. 같은 표현이라도 개발 환경, 데이터 형태, 사용 목적에 따라 실제 의미가 달라질 수 있기 때문이다.

• 지금 해결하려는 문제가 개념 이해인지, 구현 적용인지, 결과 해석인지 먼저 나눈다.
• 예제의 전제 조건이 내 상황과 같은지 확인한 뒤 필요한 부분만 가져온다.
• 결과가 기대와 다르면 입력, 설정, 경계 조건을 순서대로 좁혀서 확인한다.

적용 체크리스트

• 핵심 용어를 한 문장으로 설명할 수 있는지 확인한다.
• 작은 예제나 샘플 데이터로 동작을 먼저 검증한다.
• 실제 적용 전에는 입력 조건, 예외 케이스, 결과 해석 기준을 따로 적어 둔다.

함께 보면 좋은 글

• Elastic Weight Consolidation 구현 흐름: continual learning 손실 설계
• Elastic Weight Consolidation(EWC) 개념 정리
• Learning without Forgetting 구현 흐름: distillation loss 적용

마무리

Continual Learning 개념 정리: 모델이 잊지 않게 학습하는 방법는 개념 자체보다 적용 상황과 한계를 함께 보는 것이 중요하다. 작은 예제로 동작을 확인하고, 실제 환경에서는 입력 조건과 예외 케이스를 따로 점검하는 습관을 두면 시행착오를 줄일 수 있다.