XAI 설명가능한 인공지능, 인공지능을 해부하다

p.2

2016년 여름, 다르파에서 인공지능과 관련된 프로젝트가 하나 등장한다. 이 문건의 문서 번호는 BAA-16-53, 제목은 '익스플레이너블 인공지능(Explainable Artificial Intelligence, XAI)', 우리말로 '설명 가능한 인공지능'이다. 설명 가능한 인공지능은 앞으로 표기의 편의를 위해 XAI라고 쓰겠다. XAI는 아직 세상에 널리 알려지지는 않았다. 그렇지만 다르파는 본 프로젝트를 2021년까지 개발하도록 승인했다.

 

p.3

XAI는 '설명 가능한 의사 결정 체계'라는 용어로 1975년 처음 등장한다. 이 논문을 쓴 뷰캐넌과 쇼트리프는 의학도들의 행동을 관찰하던 중 그들의 의사결정에 의심을 가졌다. 당시 의사들은 매우 적은 수의 환자들을 보고 병명을 판단했다. 70년대는 의학 서적이 몹시 귀했고, 다양한 질병에 대한 직 간접 경험을 쌓기가 쉽지 않았다. 따라서 의사들은 적은 수의 진단 경험과 이론을 근거로 환자를 치료했고, 오진율이 높았다. 이에 뷰캐넌과 쇼트리프는 의사들이 합리적이지 않을 수 있다는 결론에 이른다. 통계를 연구하던 둘은 의사들의 부정확한 추론 과정을 확률적으로 모델링하는 방법을 제안한다. 이들은 규칙을 기반으로 조건부 확률 근삿값(Rule-based conditional probability approximation)이라는 방식을 개발해 의사들의 의사 결정 과정을 확률적이고 체계적으로 정돈하는 방식을 제안했다. 

 

그로부터 16년 뒤, 설명 가능한 인공지능은 전문가 시스템(Expert System)에서 컴퓨터의 의사 결정 과정을 드러내는 연구로 발전했다. 연구자들은 컴퓨터의 연산 모델이 초기 입력과 중간 결정을 거쳐 최종 판단을 하는 과정을 투명하게 만들고 싶었다. 연구자들은 이를 통해 연산 모델의 합리성을 이해하려고 했다.

 

설명 가능한 인공지능은 2004년이 돼서야 'XAI(Explainable Artificial Intelligence)'라는 전문 용어로 자리를 잡는다. XAI라는 용어는 반 렌트(Michel van Lent)와 피셔(William Fisher), 만쿠소(Michael Mancuso) 세 사람이 만들었다. 이들은 컴퓨터 시스템이나 인공지능 시스템은 복잡해지는 반면에 그것들의 자기 설명 기능에는 발전이 없었다는 것을 지적한다.

 

p.5

XAI에 이렇게 장밋빛 전망만 있는 것은 아니다. 인공지능의 정확도 자체가 낮은 경우에 설명 기능은 오히려 문제를 키울 수 있다. 당뇨병을 진단하는 인공지능의 테스트 정확도가 10%라고 하자. 이런 경우 모델이 당뇨병을 진단한 이유를 감히 신뢰해서는 안 될 것이다. 이후에도 설명하겠지만, 머신러닝에 설명성을 부여하는 알고리즘 또한 다양하다. 몇몇 경우 XAI 알고리즘 기법들은 서로 상충하는 설명 결과를 내놓기도 한다. 위와 같은 상황에서 올바른 XAI 알고리즘을 선택하는 안목은 데이터의 특성과 XAI 알고리즘 원리를 잘 이해하고 있는 데이터과학자의 숙련도에 달려 있다.

 

p.5

다르파의 지침에 따르면 XAI는 다음 세 가지 과정을 포함한다.

1. 기존 머신러닝 모델에 설명 가능한 기능 추가

2. 머신러닝 모델에 HCI(Human Computer Interaction) 기능 추가

3. XAI를 통한 현재 상황의 개선