AI는 차별을 인간에게서 배운다

p.25

자연스러운 대화가 가능했던 가장 큰 이유는, 당초 인공지능 챗봇 모형을 개발하는 단계에서 학습 데이터를 구축하여 1단계 학습을 진행한 후에 2단계로 '응답 데이터베이스'를 이용하여 검색(retrieval-based) 모형을 활용한 것이 배경에 있는 것으로 보인다. 검색 모형과 대비되는 방식으로 생성(generative) 모형이 있다. 이 모형은 학습 데이터를 활용하여 챗봇 모형을 개발한 뒤 챗봇 대화의 과정에서 새로운 표현을 생성해내는 방식이다. 일반론적으로 생성 모형을 이용하면 좀 더 다양한 표현의 가능성이 열리게 된다. 한편, 검색모형은 챗봇 대화의 과정에서 응답 데이터베이스에 담겨 있는 표현 중에서 가장 적절한 응답을 추출하여 챗봇 대화의 상대방에서 제시하는 방식이다. 검색 모형을 이용하면 좀 더 자연스러운 표현의 제시가 가능할 수 있다.

 

p.48-50

실제로 스마트폰의 설정 메뉴를 찾아보면 아이디 화면을 볼 수 있다. 이 아이디를 안드로이드 시스템에서는 광고 아이디(Advertising Identifier) 또는 줄여서 ADID라고 부르고, 애플 시스템에서는 IDFA(Identifier for Advertisers)라고 부른다. ADID나 IDFA 모두 일종의 일련번호로서의 기능을 한다.

 

ADID나 IDFA가 기존의 일반적인 일련번호와 다른 중요한 특징 하나는, 이용자가 설정 메뉴를 통해 언제든 재설정을 할 수 있다는 것이다. 즉 ADID나 IDFA는 고정된 것이 아니라 이용자에 의해 반복적으로 재설정될 수 있는 것이다. 그리고 새로이 설정되는 값은 기존의 값과는 무관하게 정해진다. 이에 따라 ADID나 IDFA를 활용하여 이용자를 특정할 수 있는 확률적 가능성은 작아지게 된다. 물론 재설정이므로 이 과정을 통해 원할 때마다 새로운 번호를 부여받기는 하지만 번호 자체를 없앨 수 있는 것은 아니다. 또한 재설정이 가능하기는 하지만, 이용자가 재설정을 하지 않으면 동일한 값이 계속해서 유지된다.

 

ADID와 IDFA를 매개로 하여 인터넷 생태계 안의 여러 기업과 조직들은 이용자에 관한 정보를 지속적으로 수집할 수 있게 된다. 예를 들면, 특정 앱을 서비스하는 회사가 앱 이용자 각각에 대해 ADID나 IDFA 값을 매개로 하여 개별 이용자가 앱을 열어본 시간이나 위치, 앱 이용 기간 등 다양한 정보를 수집할 수 있는 것이다.

 

한편 이처럼 ADID나 IDFA를 매개로 하여 이용자들에 관한 정보를 수집하는 것에 대해서는 다양한 평가가 존재한다. 주기적으로 논란이 발생하기도 하고, 새로운 변화가 모색되기도 한다. 애플의 경우에는 이용자의 프라이버시를 더 두텁게 보호한다는 명분으로 2021년의 iOS 업데이트와 함께 '앱 트래킹 투명성 App Tracking Transparency, ATT' 프로그램을 시행했다. 이를 통해 나타난 가장 큰 변화는, 개별 앱마다 추적에 대한 동의 팝업을 의무화하여 이용자들로 하여금 이를 명시적으로 고려하여 동의할지 여부를 선택하도록 한 것이다. 구글의 경우에는 '프라이버시 샌드박스'라는 이름으로 논의를 진행하고 있는 중이다. 구글 프라이버시 샌드박스 논의의 핵심은 'FLoC - Federated Learning of Cohorts'라고 불리는 방식의 도입인데, 이를 통해 이용자 개인 단위의 데이터 수집이 어렵도록 하는 방향의 변화를 모색하고 있다.

 

p.53-54

인터넷 쿠키는 인터넷을 통한 광고 생태계의 작동에 있어 핵심적인 역할을 해왔다. 당초에 인터넷 쿠키가 고안되고 활용된 이유 중의 하나는, 이용자에 대한 일정 수준의 트래킹(tracking)의 불가피성이다. 만일 인터넷 쿠키가 없다면 인터넷 이용자에 대한 식별성이 더 높은 다른 대안들이 활용될 가능성이 더 커 보이는 상황에서, 식별성을 낮춘 일종의 절충적 방식으로 인터넷 쿠키가 제시되고 활용되게 된 것이다. 한편, 최근에는 인터넷 쿠키의 활용에 대한 문제의식이 늘어나면서, 인터넷 쿠키의 활용도를 낮추기 위한 논의가 늘어가고 있다. 구글의 경우에는 크롬 브라우저에서 인터넷 쿠키의 이용을 더 이상 지원하지 않을 계획이라고 밝힌 바 있따. 이 계획은 당초 2022년부너 시행될 계획이었다가, 논란이 생기면서 2023년말로 시행을 늦춘 상황이다.

 

p.82~83

인공지능 기술을 채용 과정에 활용할 가능성에 대해 좀 더 구체적으로 생각해보자. 실제로 그러한 시도를 하는 기업들이 종종 있는데, 전자상거래 업체인 아마존에서는 2018년에 인공지능 기술을 활용해서 이력서를 평가하는 알고리즘을 개발해오다가 결국 해당 개발팀을 해체하기로 했다는 것이 보도된 바 있다. 개발팀의 해체 이유나 개발 중이던 채용 알고리즘의 한계에 관해서는 구체적인 추가 설명이 제공되지 않았기 때문에 정확한 것은 알 수 없지만, 가장 흔히 언급되는 것은 회사에서 이용한 학습 데이터의 한계에 관한 것이다.

 

즉 아마존에서는 그 이전 10년 정도의 기간에 회사에 지원한 사람들의 이력서를 활용하여 인공지능 모델을 구축하고자 했는데, 그 기간에 회사에 지원한 사람 중 여성의 비율 자체가 낮았던 것이 문제의 출발점이라는 것이다. 더군다나 IT 업무를 다루는 직군은 여성 비율이 더욱 낮았다는 한계도 있다. 알고리즘의 개발 과정에서, 이력서에 여학교 이름이나 여성 전용 동아리 이름 등 여성임을 파악할 수 있는 표현이 있으면 부정적인 평가가 지속적으로 나타나는 것이 파악되었고, 결국 이 작업은 잠정 중단되었다.

 

앞에서 언급한 것과 같이, 당초에 학습 데이터를 어떻게 구축하느냐 하는 것이 인공지능 개발에 있어 대단히 중요한 문제다. 아마존의 사례는 이를 다시 한 번 확인해준 것이라고 할 수 있다.

 

p.129-130

통계적인 측면에서만 보면, 일반적으로는 고려할 수 있는 데이터 항목이 많으면 많을수록 더 정확하고 풍부한 분석이 가능해진다. 하지만 사회규범의 맥락에서는 그중 일부 요소에 대해서는 통계적 유의성이나 유용성에도 불구하고 사회적 부작용의 가능성 때문에 제외하게 되는 경우가 있다. 이는 사회적, 정책적인 판단을 전제로 한 것이다. 그런 점에서, 풍부한 결과를 도출해낼 수 있는 고도의 데이터 분석 모형을 만드는 것과 사회적, 정책적 판단을 하는 것 사이에서 지속적인 논의와 고민을 할 필요가 있다.

 

결국 차별이라든가 공정성 개념을 논의할 때 고민하게 되는 것 중의 핵심 영역 하나는 어떤 데이터에 기초해서 판단할 것인가 하는 문제다. 학습 데이터나 입력값을 어떤 식으로 규제할 것인가? 또는 학습 데이터나 입력값은 가급적 규제하지 않고 결과값에 초점을 두는 규율을 할 것인가? 이것이 인공지능 시대에 차별, 공정성을 바라보는 핵심적 정책 변수가 되는 것이다.

 

p.145-147

인공지능 맥락에서 볼 때 간접 차별은 입력값보다 결과값에 초점을 맞추어 살펴보게 된다. 직접 차별에 관해서 볼 떄에는 입력값에 차별적 속성, 예컨대 종교나 성별 등이 포함되었는지 검토하겠지만, 간접 차별의 경우에는 입력값에 차별적 속성이 들어가지 않았음에도 결과적으로 차별적 결과가 나타난 것인지 검토하게 된다. 고용 알고리즘에서 입력값에 성별을 넣지 않았음에도 결과적으로 합리적인 이유 없이 남성 위주의 고용이 이루어졌는지 살펴보는 식이다.

 

간접 차별은 직접 차별보다 그 판별이 더 어려운 경우가 많다. 그리고 차별이 의심되는 상황에서 이를 진정한 차별이라고 볼 수 있는지에 대해서도 논란의 가능성이 있다. 일관성 있는 판단 기준이나 그런 기준이 되는 값을 설정하는 것 자체가 쉽지 않을 수 있기 때문이다. 또한 문제로 판단하는 상황에 대해 적절한 '해결책'을 제시하는 것도 어려울 수 있다.

 

예를 들어보자. 만약 한 회사에서 신입사원을 뽑는데 지원자의 남녀비율이 대략 비슷했다고 하자. 신입사원 전형의 결과 실제 합격자 중 여성의 비율이 현저하게 낮았다면 성별에 기초한 간접 차별을 의심할 수 있다. 그런데 여성 신입사원의 비율이 '현저하게' 낮다는 것이 무엇을 의미하는가? 여성의 비율의 30퍼센트 이하라면 현저하다고 볼 것인가? 아니면 20퍼센트? 어떻게 기준을 정하더라도 작위적이라는 논란이 발생할 가능성이 있다. 또한 개별 작업의 특징에 따라 그 기준이 달라질 수 있다. 더 나아가, 잠재적 지원자군이 형성되는 배경이나 교육과정에 관한 고려가 필요할 수도 있다. 이런 논란의 가능성 때문에, 차별이 의심되는 결과가 나타나더라도 이 결과가 진짜 차별인지 아닌지를 판단하는 것은 쉽지 않을 수 있다. 그리고 차별이 있다고 판단되는 상황에서 이를 '해결'하는 것에도 논란이 생길 수 있다. 만일 여성의 비율이 20퍼센트 미만인 경우에 차별인 것으로 판정된다고 할 때, 여성의 비율을 25퍼센트로 늘리면 차별이 아니라고 할 수 있을 것인가? 이런 질문에 대해 누구도 단정적으로 답을 정하여 제시하기는 어렵다. 이처럼 차별의 기준점을 정하는 일, 더 일반적으로는 데이터 처리의 맥락에서 규범적 판단이 동시에 요구될 때 이런 판단을 하는 것은 매우 어려운 일이 아닐 수 없다.