개념 소개
Concept Eraser는 Machine learning의 내부 표현을 수정하여 성별, 인종, 연령과 같은 특정 개념에 대한 정보를 제거하는 기법 계열을 말한다. 주요 목표는 특히 학습된 표현이 민감한 속성을 의도치 않게 인코딩할 수 있는 Artificial intelligence 시스템에서 다운스트림 작업의 원치 않는 편향을 줄이는 것이다. 이러한 개념을 지움으로써 모델의 출력은 보호된 특성에 덜 의존하게 되어 공정성과 윤리적 지침 준수를 촉진한다.
이 접근법은 일반적으로 학습된 모델의 특징 공간에서 작동하며, 대상 개념을 인코딩하는 방향 또는 부분 공간을 식별한 다음 표현을 해당 방향에서 멀리 투영한다. 이는 모델을 처음부터 재학습하거나 학습 중 손실 함수를 조정하는 다른 디바이어싱 방법과는 구별된다. Concept Eraser는 종종 사후 적용되므로 원래 학습 데이터에 접근할 필요 없이 이미 학습된 모델에 사용할 수 있어 실제 시스템 배포에 실용적이다.
기원과 발전
신경 표현에서 정보를 지우는 개념은 해석 가능성과 적대적 견고성에 대한 초기 연구에 뿌리를 두고 있다. MIT CSAIL과 Stanford AI Lab 같은 기관의 연구자들은 잠재 공간에서 의미적 개념에 해당하는 방향을 식별하고 조작하는 방법을 탐구했다. 주목할 만한 선구적 발견은 Large language model의 임베딩 공간에서 선형 방향이 성별이나 감정과 같은 인간이 해석할 수 있는 속성에 종종 대응한다는 것이었다.
2019년, Samy Bengio를 포함한 연구자들의 논문은 표현에서 보호된 속성을 제거하기 위한 '널스페이스 투영'이라는 방법을 소개했다. 이 연구는 개념의 방향에 의해 생성된 부분 공간을 계산하고 데이터를 그 직교 보수에 투영함으로써 다른 정보를 보존하면서 개념을 효과적으로 지울 수 있음을 입증했다. 이후 연구는 이 아이디어를 개선하여 2021년경 문헌에서 'Concept Eraser'라는 용어가 채택되었다.
수학적 공식화
Concept Eraser의 핵심 연산은 선형 대수를 포함한다. 표현 집합 X(n x d 행렬, 여기서 n은 샘플 수, d는 차원)와 개념 방향 벡터 v(d차원 벡터)가 주어졌을 때, 변환된 표현 X' = X P가 v와 최소 상관 관계를 갖도록 하는 투영 행렬 P를 찾는 것이 목표이다.
일반적인 방법 중 하나는 v에 직교하는 부분 공간에 대한 투영을 계산하는 것이다. v가 정규화된 경우 투영 행렬은 P = I - v v^T로 주어지며, 여기서 I는 단위 행렬이다. 이를 X에 적용하면 v를 따른 모든 성분이 제거된다. 그러나 실제로 개념은 단일 방향이 아닌 다차원 부분 공간으로 포착되는 경우가 많다. 이러한 경우 개념의 표현에 주성분 분석을 사용하여 직교 방향 집합을 찾고 이를 투영해 제거할 수 있다.
또 다른 접근법은 적대적 학습을 사용하는 것으로, 분류기가 표현에서 개념을 예측하도록 학습되고 지우개는 해당 분류기를 속이도록 학습된다. 이는 생성적 적대 신경망과 유사한 최소-최대 최적화 문제로 이어지지만, 표현 디바이어싱에 적용된다.
공정성 응용
Concept Eraser의 주요 응용 분야는 Machine learning 모델의 공정성이다. 예를 들어, 채용 알고리즘에서 모델이 특정 이름이나 구문을 성별과 연관시켜 편향된 결정을 내릴 수 있다. 모델의 표현에서 성별 개념을 지우면 입력 텍스트에 성별 지표가 포함되어 있더라도 알고리즘이 성별에 따라 차별할 가능성이 줄어든다.
Computer vision에서는 Concept Eraser가 얼굴 인식 임베딩에서 나이나 인종 정보를 제거하는 데 사용되었다. 이는 편향이 심각한 결과를 초래할 수 있는 법 집행 응용 분야에서 특히 관련이 있다. 연구에 따르면 이러한 개념을 지우면 전반적인 정확도를 크게 저하시키지 않으면서 상이한 영향을 줄일 수 있다.
이 기법은 또한 Natural language processing에서 정치적 성향이나 종교와 같은 민감한 속성을 텍스트 임베딩에서 제거하는 데 적용되며, 중립성을 목표로 하는 콘텐츠 조정 및 개인화 추천에 유용하다.
다른 디바이어싱 기법과의 관계
Concept Eraser는 사후 디바이어싱 방법의 더 넓은 범주에 속한다. 다른 접근법으로는 학습 데이터 재가중치 부여, 손실 함수에 공정성 제약 추가, 학습 중 적대적 디바이어싱 사용 등이 있다. 이에 비해 Concept Eraser는 모델 학습 후 단일 행렬 곱셈만 필요하므로 종종 더 간단하고 계산 효율적이다.
그러나 한계가 있다. 이 방법은 개념이 표현 공간에서 선형 분리 가능하다고 가정하는데, 이는 항상 성립하지 않을 수 있다. 복잡한 개념의 경우 비선형 변환이 필요할 수 있지만, 이러한 변환은 계산하기 어렵고 역변환이 불가능할 수 있다. 또한 개념을 지우면 대상 작업과 상관된 유용한 정보가 의도치 않게 제거되어 성능 저하가 발생할 수 있다.
또 다른 관련 기법은 '공정 표현 학습'으로, 처음부터 본질적으로 공정한 표현을 학습하는 것을 목표로 한다. Concept Eraser는 학습 과정을 수정하지 않고도 유사한 목표를 달성하는 후처리 단계로 볼 수 있다.
구현 및 도구
여러 오픈 소스 라이브러리가 Concept Eraser를 구현했다. 예를 들어, Microsoft (AI)가 개발한 'Fairlearn' 툴킷에는 널스페이스 투영 기능이 포함되어 있다. 마찬가지로 BAIR (Berkeley AI Research)와 Carnegie Mellon University의 연구 코드가 공개 저장소에서 제공되어 실무자가 자신의 모델에 이 방법을 적용할 수 있다.
실제로 구현은 세 단계로 구성된다: (1) 데이터 샘플에 대한 모델의 표현 집합 수집, (2) 레이블이 있는 예제나 프로브 분류기를 사용하여 개념 방향 추정, (3) 투영 행렬 계산 및 모든 표현에 적용. 마지막 단계는 추론 중에 즉시 수행할 수 있어 지연 시간을 최소화한다.
과제와 한계
주요 과제 중 하나는 '개념'을 의미 있고 측정 가능한 방식으로 정의하는 것이다. 예를 들어, 텍스트 표현에서 '성별'을 지우는 것은 성별이 대명사뿐만 아니라 많은 언어적 단서를 통해 표현될 수 있기 때문에 복잡하다. 단순한 선형 방향이 이 모든 것을 포착하지 못해 잔여 편향이 남을 수 있다.
또 다른 문제는 공정성과 유용성 사이의 균형이다. 너무 많은 정보를 지우면 기본 작업에서 모델 성능이 저하될 수 있다. 연구자들은 지우기 강도를 제어하는 정규화 매개변수를 사용하는 등 최적의 균형을 찾는 방법을 제안했다.
또한 Concept Eraser는 모든 모델과 데이터셋에 적용할 수 있는 만능 해결책이 아니다. 예를 들어, BERT와 같은 Transformer (architecture) 기반 모델은 더 단순한 아키텍처와 다른 지우기 전략이 필요할 수 있다.
최근 발전과 향후 방향
최근 연구는 반복 투영이나 공동 최적화를 사용하여 여러 개념을 동시에 처리하도록 Concept Eraser를 확장했다. 일부 연구자들은 선형 투영보다 개념을 더 효과적으로 제거할 수 있는 비선형 지우개를 학습하기 위해 Deep learning을 사용하는 것을 탐구하고 있다.
또 다른 방향은 Concept Eraser를 Generative AI 모델과 통합하는 것이다. 예를 들어, 텍스트-이미지 생성에서 모델의 조건화에서 특정 개념을 지우면 고정관념적이거나 유해한 이미지 생성을 방지할 수 있다. 이는 OpenAI의 DALL-E 및 유사 시스템에 영향을 미치지만, 구체적인 구현은 독점적이다.
2024년 현재 이 분야는 활발히 진화하고 있으며, NeurIPS와 ICML 같은 학회에서 새로운 논문이 발표되고 있다. 책임 있는 AI에 대한 강조가 커지면서 Concept Eraser는 더 공정한 시스템을 구축하려는 실무자에게 계속 관련 도구로 남을 것이다.
윤리적 고려 사항
Concept Eraser의 사용은 무엇을 지울지, 누가 결정할지에 대한 윤리적 질문을 제기한다. 모델에서 인종과 같은 개념을 제거하는 것은 일부 맥락에서는 바람직할 수 있지만, 의료 진단과 같은 다른 맥락에서는 인종이 관련 요인이 될 수 있다. 무분별하게 지우면 최적이 아닌 결과를 초래할 수 있다.
또한 이 기법은 신중하게 적용하지 않으면 '공정성 세탁'의 형태로 간주될 수 있으며, 시스템의 다른 부분에 근본적인 편향이 남아 있는 동안 잘못된 안도감을 줄 수 있다. 다양한 데이터셋에서 지우개의 효과를 평가하고 다른 공정성 조치와 결합하는 것이 중요하다.
결론
Concept Eraser는 기계 학습 모델의 편향을 완화하는 강력하고 실용적인 방법이다. 학습된 표현에서 특정 개념을 제거함으로써 더 공정한 AI 시스템을 만드는 데 도움이 된다. 한계가 있지만, 지속적인 연구는 그 견고성과 적용 가능성을 개선하고 있다. AI가 사회에 더 통합됨에 따라 Concept Eraser와 같은 기법은 이러한 시스템이 모든 개인을 공평하게 대우하도록 보장하는 데 핵심적인 역할을 할 것이다.