케냐 나이로비의 시장 풍경. /사진=ITU/ G. Anderson (CC BY 2.0 DEED)
2024.04.26 16:09
21min
2022년 3월 초, 케냐 서부에 위치한 오켈라Okela-C 마을 주민들은 봄비가 오기 전 밭에 씨앗을 뿌리고 있었다. 자녀 여섯 명을 둔 45세 피터 오테도는 아침 내내 집 뒤에 있는 농지에서 작업을 했다. 그의 집은 철골판 지붕에 바닥에는 패턴 타일이 깔린 튼튼한 방 두 개짜리 콘크리트 건물이었다. 그는 2년에 걸쳐 이 집과 주방이 딸려있는 진흙 벽 건물을 근처에 함께 지었다. 그전까지 오테도의 가족은 초가지붕에 물이 새는 단칸 오두막에 옹기종기 모여 살았다. "예전 집에서는 밤에 푹 잘 수가 없었어요." 이 마을 토박이인 오테도의 말이다. 적어도 오켈라-C 마을의 기준에서 보면 오테도와 그의 가족은 잘 사는 편이다. 그의 아내는 가사도우미로 꾸준히 일하고 있으며 아이들을 모두 학교에 보낼 형편은 된다.
정확한 나이는 모르지만 63세 내지 64세로 추정되는 오테도의 이웃 모리스 마렌디도 이 마을 출신이다. 오테도와 달리 마렌디의 집은 진흙과 나뭇가지, 모래, 덩굴로 만든 허름한 오두막으로 어린 아카시아 나무를 심어놓은 큰 대지에 지어져 있으며, 집 바닥은 흙으로 되어 있다. 그는 이웃의 집에서 휴대전화를 충전하고 화장실은 말린 옥수수 잎으로 가린 옥외 별채에서 해결한다. 부인이 2007년 세상을 떠나면서 네 아이를 부양하는 것은 그의 몫이 되었다. 3년 후에는 딸 하나가 신장질환으로 사망했다. 그는 언젠가 막내아들을 기술학교에 보내기를 꿈꾸고 있지만, 아직은 그럴 돈이 없다.
오테도와 마렌디가 태어난 환경은 케냐에서 가장 빈곤한 지역으로 비슷하지만 지금은 매우 다른 삶을 살고 있다. 이들이 사는 마을이 2011년에 경제 실험 참여 대상으로 선정된 것이 크게 작용했다. 자선단체 기브디렉틀리GiveDirectly의 목표는 개발도상국에 사는 사람들에게 돈을 주어 빈곤을 완화하는 것이다. 기브디렉틀리 웹사이트에 따르면 이 단체는 2009년부터 "150만여 명의 빈곤층에게 7억 달러 이상의 현금을 직접 지급했다".
현금 원조의 효과를 측정하기 위해 이 단체는 무작위 통제실험1Randomised Controlled Trial (RCT)이라는 일종의 실험을 해 보기로 했다. 예를 들어 모기장이나 휴대전화의 영향을 파악하는 데 관심이 많은 연구자들이 무작위로 선정한 '실험그룹treatment group'의 모든 구성원에게는 물품을 제공하고, '통제그룹control group'에게는 제공하지 않는다. 두 집단은 수년간, 길게는 수십 년 동안 모니터링을 받았고, 학자들과 개발 단체가 그 결과를 면밀히 조사했다. "기본적으로 가능한 세계를 다양하게 관찰하려고 합니다. '개입(변수)'이 실험그룹과 통제그룹의 유일한 차이가 되도록 [실험을] 구성하고 싶어 하지요. 이것이 무작위 통제실험의 마력이죠." 나이로비 소재 부사라 행동경제학연구소Busara Center for Behavioral Economics의 행동경제학자 패트릭 포셔의 말이다.
[PADO '언더그라운드 엠파이어' 북콘서트가 11월 30일(토) 광화문에서 열립니다! (안내)]
통제그룹 마을의 주민들은 무작위 알고리즘이 자신들에게 적용되었더라면 자신의 삶이 어떻게 달라졌을지 매일 지켜보게 되었다.
무작위 통제실험이라면 흔히 의학 임상실험을 떠올리지만, 지난 20년 동안 무작위 통제실험은 개발경제학자들이 개발원조금의 지출 방식을 고안하는 수단으로 인기를 끌었다. 다양한 원조 유형의 효과를 비교하던 연구자들은 20세기 대부분의 기간 동안 주로 관찰 연구와 수집한 데이터 분석에 의존했다. '무작위주의자2randomistas'로 알려진 무작위 통제실험 세대는 학계의 상아탑에서 내려와 현장에 뛰어들었다. 이들은 단순히 관찰만 하지 않고 실험을 통해 사람들의 삶에 개입했다. 어떨 때는 실험 대상과 대상이 아닌 이들의 직접 비교가 가능하도록 정교한 실험을 설계하기도 했다.
2019년에는 '무작위주의자'의 대표주자인 마이클 크레머Michael Kremer와 에스테르 뒤플로Esther Duflo, 아브히지트 바네르지Abhijit Banerjee가 무작위 통제실험을 활용하여 전 세계의 빈곤을 경감할 수 있는 최선의 방법을 발견한 공로를 인정받아 노벨경제학상을 공동 수상했다. 이들의 연구 결과가 "실생활에서 인류의 빈곤 퇴치 능력을 크게 개선"했고 "이들의 실험 연구 방식이 지금의 개발경제학을 완전히 지배하고 있다"는 점이 수상 근거였다. 세 학자의 제자들은 전 세계 최상위 경제학과에 포진해 있다. "한때 우리는 독창적인 연구를 하는 신세대였지만 지금은 우리의 연구가 일반적인 작업이 되었어요." 뒤플로가 내게 한 말이다. 노벨상보다 "일반성을 보증하는 것은 없겠죠." 빈곤 퇴치를 위해 노력하는 경제학자들에게는 무작위 통제실험이 가장 좋은 방법이라고 생각될 것이다.
오테도와 마렌디가 참여한 무작위 통제실험의 실험대상은 케냐 서부 행정 구역인 시아야Siaya 현의 120개 마을이었다. 일부 마을은 일부 주민에게 현금을 지원하는 '실험' 마을이었고 다른 마을은 아무도 현금을 전혀 받지 않는 '완전 통제' 마을이 되었다. 오켈라-C는 실험 마을로 선정되었다. 오테도의 집은 최초 연구에서 무작위로 선정되어 총 1,000 달러(1인 연간 소비액의 2배를 약간 넘는 금액)의 현금 원조를 받는 137개 가구에 포함되었다. 지급받은 금액은 어떤 용도로든 쓸 수 있다. 마렌디의 집은 마을 내 통제그룹에 포함되어 현금 원조를 전혀 받지 못했다. 그러나 연구자들은 마렌디의 이웃에게 생긴 행운이 그의 부富에 미치는 영향이 (있다면) 어느 정도인지 측정하고 싶어 했다. 이 가구들은 '파급효과spillover'로 분류되었다.
해외 학자들과 이들을 위해 데이터를 수집하는 케냐의 현장 연구자들이 여러 해 동안 오켈라-C를 찾았다. 마을 주민들은 생활에 대한 질문에 응답하고 코티솔3cortisol 수치를 측정하도록 타액 샘플을 제공해야 했다. 각 가정에는 실험군이든 대조군이든 동일한 시간을 투자해준 것에 대한 작은 보상으로 식품이 제공되었다. 보상은 보통 쌀 한 봉지, 비스킷 한 상자 같은 식이었다.
현금 원조 실험이 더 많은 마을로 확대되면서 문제가 불거지기 시작했다. 이따금씩 실험그룹과 통제그룹의 구분에 구멍이 뚫렸다. 한 마을에서는 실험그룹에 속한 사람들이 연구자 몰래 자신이 받은 현금을 통제그룹에 속한 사람들과 나눠 쓰기도 했다. 그리고 무작위 통제실험은 마을 안팎에 분명하고 지속적인 격차를 만들었다. 실험그룹 마을이 겨우 도로 하나 건너 통제그룹 마을과 접해 있는 바람에 통제그룹 마을의 주민들은 무작위 알고리즘이 자신들에게 적용되었더라면 자신의 삶이 어떻게 달라졌을지 매일 지켜보게 되었다.
[PADO 트럼프 특집: '미리보는 트럼프 2.0 시대']
"그 돈 덕분에 내 인생이 완전히 바뀌었어요." 오테도가 말했다. 그는 집을 지을 건설 자재에 전액을 썼고, 아직도 모래, 시멘트, 타일, 기둥, 문, 못에 지불한 총액을 정확히 기억한다. 오테도는 사람들의 불평을 들은 후에야 모두가 현금 원조를 받지 않았다는 사실을 알게 되었다. 이웃들이 자기도 현금을 받을 수 있는지 그에게 물었다. "기다리면 좋은 일이 생길 거라고 말해줬죠." 일루미나티가 보낸 돈이라고 의심하는 이들도 있었다고 한다.
이 지역에서 무작위 통제실험의 효과를 수년간 연구한 막스플랑크 사회인류학연구소Max Planck Institute for Social Anthropology의 인류학자 마리오 슈미트Mario Schmidt는 말한다. "누가 '이 돈은 댓가 없이 그냥 주는 것입니다'라고 말한다면, 유언비어가 퍼질 여지가 생깁니다." "소문이 무성했고 종교 및 정치 활동가들이 이 소문을 증폭시켰습니다." 사람들은 저주받은 돈이라고 말했으며 이 돈은 케냐 현지어인 루오어Dholuo 표현으로 '나쁜 돈'이라는 뜻의 페사 마라흐pesa marach로 불렸다.
오켈라-C에서 50km쯤 떨어진 곳에 우간다와 국경이 접해 있는 소도시 부시아Busia가 있다. 석유와 곡물, 과일, 직물을 실은 화물차들이 국경을 건너려고 줄지어서서 도로 하나가 가득 찬다. 두 나라의 시장 상인은 가격이 더 비싼 케냐 쪽에서 물건을 판매한다. 현지인은 부시아를 평범한 국경 도시, 이름이 같은 현의 현도로 알고 있지만 이 도시는 세계적으로 유명하다. 간선도로를 따라가다 보면 연구 기관 로고가 새겨진 옥외 간판이 보이면서 무작위 통제실험 혁명의 중심지에 도착했음을 알 수 있다.
1994년, 우연한 사건이 연달아 일어나면서 부시아는 전 세계 개발경제학 실험의 진원지가 되었다. "부시아는 이 운동이 탄생한 곳입니다." 뒤플로의 제자였으며 미국의 원조 기관인 미국 국제개발처United States Agency for International Development, (USAID)의 수석 경제학자인 딘 칼런의 말이다. 지금까지 케냐에서 실시한 무작위 통제실험은 270건 이상이며, 이는 실제 실험 횟수보다 적게 집계되었을 가능성이 높다(현재 부시아에서 진행되는 실험만 27건이다). 연구자들은 수년간 특히 모기장 가격이 수요에 미치는 영향, 교인의 사교적 태도, 농촌 전력화의 효과, 장학금이 여권을 신장시키는지, 예금 계좌가 사업 성장에 도움 또는 방해가 되는지, 알코올 오남용 경고가 음주를 막는지, 사람들이 배우자에게 돈을 숨기면 어떻게 되는지 연구했다.
케냐는 개발경제학자들에게 호의적인 환경이었다. 이 나라는 인접 국가보다 연구에 대한 제약이 적다.케냐 정부는 무작위 통제실험이 그 자체로 원조의 한 형태라고 여기는 경향이 있다. 지역의 각 현마다 전문 분야가 있어서 부시아에서는 교과서와 모기장, 구충의 효과를, 시아야에서는 현금 원조의 효과를 연구한다. 최근 부시아에서는 실험이 너무 많이 이루어져 일상생활에서 더 이상 실험 대상으로 삼을 주제가 남지 않은 것처럼 보일 정도였다. 나중에는 지역 내 연구가 포화 상태가 되어 경제학자들이 먼 곳에서 참여자를 찾아야 했다.
개발경제학 분야를 비롯해 이 지역 내 빈곤한 케냐인들의 일상에도 무작위 통제실험이 보편화되면서 이 실험의 윤리와 방법론에 대한 우려의 목소리가 커지고 있다. 2018년에는 개발경제학자 두 명이 케냐의 중심지인 나이로비에서 세계은행 및 수도 당국과 제휴하여 주도한 무작위 통제실험에서 공과금을 납부하지 못한 일부 빈민가 거주지에 수도 공급을 차단했을 때 어떤 결과가 나오는지 추적 관찰한 적이 있었다. 이 연구자들은 요금 정산 책임이 있는 집주인들이 요금을 지불할 가능성이 높아질지, 주민들이 항의할지 실험해보고 싶었다.
[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]
나이로비의 빈민가 거주지에 사는 주민 수백 명은 경우에 따라 몇 주 내지 몇 개월 동안 깨끗한 물을 공급받지 못하고 방치되었다. 자신이 무작위 통제실험 대상이라는 것을 아는 사람은 거의 없었다. 이 연구로 인해 현지 활동가와 해외 연구자 사이에서 커다란 공분이 일었다. 두 가지 측면에서 비판이 있었다. 첫째, 연구자들이 참여자의 명백한 참여 동의를 받지 않았다. (연구자들은 집주인과 수도회사의 계약에서 단수를 허용했다고 항의한다.) 둘째, 실험상 (차이를 만드는) '개입'(변수)은 좋은 것이어야 한다는비판이 있었다. 실험에 관여한 경제학자들은 자신들의 실험을 옹호하는 윤리 성명을 냈다. 단수 조치가 수도 당국의 기본적인 집행 조치에 포함되었기 때문에 이들의 연구가 차단을 부추긴 것은 아니었다는 것이 요지였다. (그러나 실험을 한 경제학자들도 빈민가의 단수가 예전에는 '때에 따라 이뤄지기도 안 이뤄지기도 했다'는 점은 인정했다.) 이 성명이 비판 의견을 잠재우지는 못했다. 이 실험이 엄청난 분노를 촉발하면서 다수의 연구 기관이 자체 윤리 기준을 재검토하기 시작했다.
프린스턴대학교의 경제학자 앵거스 디턴Angus Deaton은 오랫동안 무작위 통제실험의 윤리적 함의에 신중한 태도를 취했다. 그는 2019년에 이런 실험 방식에 일련의 문제를 제기하는 논문을 발표했다. "자신이 실험 대상인 것도 모르는데 어떻게 고지에 입각한 동의informed consent를 처리할 수 있는가? '좋은 것이어야 한다, 도움이 되어야 한다'는 것은 인간 피실험자를 대상으로 한 실험의 기본 요건이다. 그런데 과연 누구에게 '좋은 것'이란 말인가?" 대부분의 무작위 통제실험은 서양 엘리트 대학의 연구자들이 교내에서 설계하고, 재정 지원을 받고, 분석하는 방식으로 진행되는데 이들이 현장을 방문하는 횟수는 연 1, 2회 정도이다.
무작위 통제실험 결과가 가지는 가치에 의문을 품는 이들도 있다. 무작위주의자는 세상이 돌아가는 방식에 대한 사전 지식이 거의 없는 것처럼 일하는 경향을 보인다. 뒤플로가 보기에는 가설에 맞서는 유일한 방법은 실험뿐이다. "직감이 안 맞을 때가 자주 있잖아요." 하지만 베개와 담요가 아이들의 숙면에 도움이 된다는 사실이나 깨끗한 물을 이용하면 건강이 개선된다는 사실을 밝히는 실험이 정말 필요할까?
개발경제학자 랜트 프리쳇Lant Pritchett의 말을 빌리면 이는 마치 "무작위 통제실험을 빼면 지식을 구할 수 있는 곳이 전혀 없다는" 듯한 태도다. 프리쳇은 무작위 통제실험을 통해 마을에 커뮤니티 스쿨이 있으면 아프가니스탄의 여자아이들이 학교에 갈 가능성이 더 높다고 어느 정도 결론지은 논문을 언급했다. (그는 말했다. "농담하는 게 아닙니다.") 케냐 대통령의 경제 자문인 경제학자 데이빗 은디는 무작위주의 혁명은 "돈키호테가 풍차로 돌진하는 것이나 마찬가지"라며, 경제학 분야에서 새로운 지식을 생산하지 못하는 수상쩍은 유행에 지나지 않는다고 주장했다.
젊은 연구자들은 실험을 개선하려고 노력한다. 그 결과 중복과 과포화를 피하기 위해 실험 이력을 추적하는 데이터베이스가 구축되기도 했다. 이들은 보다 확실한 동의를 얻기를, 더 많은 케냐인이 수석 연구원으로 참여하기를 독려했다. 학자들은 연구자가 실험 과정에서 사람들이 피해를 입지 않는다고 확신할 수 있을 때까지 비자발적인 사회 실험으로 간주되는 활동을 중지하기를 제안했다.
무작위 통제실험에 비판적인 이들도 대체로 무작위 통제실험이 적절하게 시행되고 실험 결과가 피실험자의 특수한 정치적, 문화적 맥락을 참고해서 해석된다면 유용하고 이해에 도움이 될 수 있다고 인정한다. 무작위 통제실험은 경제학자들이 빈곤의 덫을 벗어날 수 있는 방법, 재정 부담이 노동자 생산성을 저하시키는 원리, 기술 수용을 개선하는 방법, 아동 예방접종률을 높이는 방법을 이해하는 데 도움이 되었다. 1997년 멕시코에서 시작된 현금 원조 프로그램 프로그레사4Progresa는 전 세계에 수많은 유사 프로그램을 양산했다.
"무작위 통제실험이 정말 중요하다고 생각합니다." 수년간 현장 연구자들을 따라다니며 현장 실험을 수행한 케냐계 영국인 사회학자 패트리샤 킹고리Patricia Kingori의 말이다. 지금은 전 세계 개발 기부자와 비정부기구 자문으로 활동하는 무작위 통제실험의 선구자 캐런 레비Karen Levy는 무작위 통제실험이 크게 발전했다고 힘주어 말했다. 오늘날 무작위 통제실험의 대부분은 케냐의 연구자와 공동 발표하며, 케냐의 경제학자들이 연구를 직접 수행하고 있다. "연구 방식이 중요합니다. 연구를 해야 하냐고요? 그럼요." 레비의 말이다.
케냐 나이로비의 시장. /사진=ITU (CC BY 2.0 DEED)
통제실험의 가장 오래된 사례 중 하나는 성경에서 찾을 수 있다. '다니엘서'에 따르면 기원전 597년, 느부갓네살 왕의 바빌로니아 궁정에서 시중을 들던 유대인 다니엘은 채식을 포기하기를 거부했다. 왕의 환관장 아스부나스는 채식을 하면 다니엘의 기력이 약해져 왕을 잘 모시지 못할 것을 우려했다. 다니엘은 아스부나스의 가설을 실행에 옮겨보자고 제안했다. 다른 하인들이 육식을 하는 동안 다니엘과 세 친구는 열흘간 채식을 했다. 아스부나스가 열흘 후 두 집단을 비교했을 때 채식을 한 하인들이 더 건강하고, 힘이 세고, 날렵했다(곧 왕이 가장 아끼는 하인이 되었다).
풍족한 생활 (위에서 아래로) 어린 아이들이 케냐 부시아의 시장 가판대에서 놀고 있다. 노점상과 현지인들이 케냐 부시아 중심부에서 플라스틱 의자에 앉아 여유로운 시간을 보내고 있다. 한 여성이 시장 한가운데서 물고기를 팔고 있다.
이 실험은 통제실험이었지만 '무작위' 방식은 아니었다. 무작위 배정은 17세기에 벨기에 의사 얀 밥티스타 판 헬몬트Joan Baptista van Helmont가 사혈瀉血(피 뽑기)이 최고의 질병 치료 수단인지 판단하는 실험을 고안하면서 처음으로 언급되었다. 그는 병약자 수백 명을 두 집단으로 나누자고 제안했다. 한 집단은 사혈 치료를 받았고 다른 집단은 치료를 받지 않았다. 헬몬트는 이렇게 썼다. "양쪽 집단에서 장례식을 몇 번 치르게 될지 살펴볼 것이다." (실제로 실험을 실시했다는 증거는 없다.)
대부분의 경제학자들은 무작위 배정 개념을 실험실 밖 현장 연구에 도입한 영국의 통계학자 로널드 피셔Ronald Fisher(1890~1962)에게 공이 있다고 생각한다. 피셔는 1919년에 런던 외곽에 위치한 로담스테드 농업 연구소에서 연구원으로 일을 시작했고 농작물 재배 실험 결과를 분석하는 일을 맡았다. 그의 연구 결과는 각각의 대지에 다른 종류의 비료를 투입하는 것이 각 작물의 최적화된 성장 조건을 결정하는 최선의 방법임을 시사했다. 그는 무작위 배정이 실험에서 편향이 생기는 원인을 완전히 제거할 수 있는 유일한 수단이라고 주장하기도 했다.
1935년, 피셔는 '실험계획법The Design of Experiments'이라는 저서에서 실험과 자료 수집에 관한 몇 가지 접근법을 간략히 설명했다. 이 책은 오늘날에도 연구자들의 경전이며 그의 '부인의 차 감별lady tasting tea' 실험은 최근에도 대학에서 가르친다. 피셔의 동료였던 뮤리엘 브리스톨은 우유를 먼저 찻잔에 부은 차와 우유를 마지막에 넣은 차의 차이를 맛으로 감별할 수 있다고 주장했다. 브리스톨의 이론을 검증하기 위해 피셔는 절반은 우유를 먼저, 나머지 절반은 우유를 나중에 넣은 차 여덟 잔을 무작위로 브리스톨에게 제공했다. (결과에 대한 설명은 제각각이다.)
피셔가 무작위 배정을 탁월한 지식 형태라고 강조한 근거에는 무작위 배정이 '생각하는 인간'이라면 누구나 이해할 수 있도록 '인간의 추론 능력'을 이용하는 유일한 방식이라는 그의 확신이 깔려있었다. 그는 냉전 시대로 접어들면서 이 기법을 적용하면 소련의 국가 이데올로기가 그랬듯이, 미국에서 자신이 일하며 목격한 기업의 영향으로 과학 연구가 오염되지 않게 막아준다고 주장했다. 그는 데이터 중심의 실험을 통해 과학자들이 증거에 기반한 의사결정을 할 수 있다는 주장을 증명하는 데 평생을 바쳤다. 피셔가 실험을 하던 시기에 의학 분야에서도 같은 기조가 형성되면서 처음으로 무작위 통제실험(의학에서는 '임상실험'이라고 부른다)을 시행하게 되었다. (1962년 미국 식품의약청은 '임상실험'을 거치지 않은 의약품을 승인하지 않겠다고 선언했다.)
1990년대가 되어서야 많은 경제학자들이 무작위 배정을 발전에 활용하는 방법을 고민하기 시작했다. 마이클 크레머는 말한다. "응용미시경제학에서는 경험적 결과의 대다수가 상당 부분 가설에 의존하고 있다는 것을 깨달았습니다. '신뢰할 수 있는 발견'을 더 많이 하는 데 관심이 있었지요." - 이는 더 정확하게 인과관계를 파악하는 방법을 찾는 것이다.
크레머는 케냐 서부가 이러한 연구들에 있어서 과도하게 자주 찾는 대상 장소가 되어버린 것에 상당한 책임이 있다.. 그는 1985년 대학을 졸업한 후 케냐로 가서 1년간 학생들을 가르쳤다. 그로부터 10년 정도 지나 매사추세츠공과대학(MIT)에서 일하던 중 휴가차 케냐를 다시 찾았다. 케냐 서부의 한 학교 교장인 그의 친구가 저녁식사 자리에서 지역 내 7개 학교에 보조금을 지급하는 프로그램을 출범시키기 위해 어느 비정부기구와 협력중이라고 말했다. 크레머는 무작위 통제실험방식으로 우선 학교 14개를 선정한 후7개 학교에 보조금을 지급하라고 조언했다. "제 기억으로는 [그냥] 저녁 식사였을 뿐인데 그렇게 이 일이 시작됐어요." 크레머는 이렇게 회상한다.
그 비정부기구는 크레머의 조언을 받아들이고는 그와 함께 프로그램의 효과를 측정했다. 이후 크레머는 1년에 한두 번 부시아를 방문했다. 가끔은 동료와 대학원생이 동행하기도 했다. "우리는 의학의 무작위 임상실험을 표본이자 모형으로 삼았습니다." 1997년마다 거의 매년 여름 부시아를 찾는 크레머의 전 박사과정생 에드워드 미구엘Edward Miguel의 말이다. (두 실험의 완전한 비교는 불가능하다. 사회과학 실험은 의학의 임상실험과 달리 이중맹검법5double-blind이 불가능해서 수혜자들에게 거액의 현금 보조금을 지급하는 것처럼 위장할 수가 없다.) 그러나 개발에 대한 이런 접근법은 참신하게 느껴졌다. "우리가 타고 다닐 바퀴를 올라 타보면서 직접 발명하는 꼴이었지요." 뒤플로의 말이다.
이후 크레머와 미구엘은 획기적인 무작위 통제실험이 될 실험에 착수했다. 구충제를 학교에 배포하여 장질환을 치료하고 질병 확산을 방지하는 효과를 평가하는 실험이었다. 각 학교의 학생들은 서로 다른 해에 단계적으로 치료를 받았고, 연구자는 학생의 건강과 교육 성과를 조사했다. 연구자들은 의약품의 파급 효과를 측정할 방법을 고안했고 연구 결과 약을 복용하지 않은 학생들 사이에서도 학교 출석률과 전반적인 건강 상태가 개선되었다는 점을 발견했다. 치료 결과는 아주 좋았고, 케냐 정부는 이 프로그램을 채택했다. 이제 거의 모든 케냐의 취학 아동이 구충 치료를 받는다.
"치료를 받은 후 아이들은 교육을 더 많이 받았고, 여자아이들은 학교를 졸업했고, 사람들의 수입도 늘었어요. 예방 보건 무료 지원은 큰 변화를 만든다는 점, 케냐 너머 먼 나라에도 일반적으로 통용될 수 있다는 교훈을 얻었습니다." 크레머의 말이다. (구충 프로그램은 에티오피아와 인도, 나이지리아, 베트남에서도 채택되었다.) 바네르지와 뒤플로가 공동 설립한 압둘 라티프 자밀 빈곤퇴치연구소Abdul Latif Jameel Poverty Action Lab (J-PAL)는 지난 15년간 무작위 통제실험을 통해 고안한 프로그램으로 전 세계 6억 명의 삶이 개선되었다고 추정한다. 여기에는 연구자들이 페이스북에 이용자들에게 코로나19 팬데믹이 절정에 달한 시기에는 여행하지 않기를 권하는 메시지를 작성하던 미국도 포함되었다.
무작위 통제실험은 당시 개발 전문가의 요구를 충족하면서 빠르게 인기를 끌었다. 낭비에 대한 잘못된 조치와 우려로 수렁에 빠졌던 산업에 선명성과 정확성을 보장했기 때문이다. 2005년 시작된 밀레니엄 빌리지 사업Millennium Villages project은 자선 기금으로 사하라 사막 이남 아프리카 지역에 마을을 통째로 건설했다. 이 프로그램에 수백만 달러가 투입되었지만 10년 후에는 실패작으로 널리 간주되었다. 가나 북부 지역에서 작성된 한 후속 보고서는 이 사업이 빈곤이나 기아에 미치는 "가시적인 영향이 없었다"고 밝혔다.
무작위 통제실험은 이러한 곤란을 피할 수 있는 방법을 제시하면서, 정부와 지원단체가 필요한 대규모 경제 구조 개혁 위험을 감수하는 대신 더 규모가 작고 실현 가능한 사업을 지향하는 개발 목표를 정하는 방향으로 선회할 수 있게 하는 전략적 연구를 보장했다. (무작위 통제실험이 대학원생과 교수가 경력에 도움이 되는 학술논문 작성을 위한 청사진을 제공해준 점도 주효했다.)
무작위 통제실험을 비판하는 사람들은 실험 과정에서 분석한 '개입'의 규모가 너무 작은 반면 필요한 기간은 너무 길어서 빈곤에 미치는 실질적 영향이 고작해야 미미한 수준이라고 본다. 현재까지 가장 성공한 무작위 통제실험 중 하나로 손꼽히는 크레머와 미구엘의 구충 사업도 학생들의 전반적인 성취도를 높이는 데 거의 기여하지 못했을 것이다. "실질적인 교육 개선에 비하면 구충은 사소한 일에 불과합니다." 프리쳇의 견해다. (미구엘은 이 의견을 두고 이들이 종합한 통찰을 사소한 것으로 치부하고 무작위 통제실험을 희화화하려는 것이라고 말했다.)
최초의 구충 연구 결과가 발표된 후 20년 가까이 지난 현재, 무작위 통제실험은 여전히 1990년대 후반에 구충제를 제공받은 이들을 대상으로 하는 케냐 생활 패널 조사Kenya Life Panel Survey의 형태로 진행 중이다. 이 조사에는 최초 참여자를 대상으로 2시간 동안 진행되는 인지 검사가 포함된다. 이 검사에서 참여자는 무난한 질문('일요일부터 한 주의 요일을 역순으로 말해 보세요')부터 복잡한 질문('이제 시나리오를 읽어 드리고 귀하께서는 어떻게 하실지 묻겠습니다. 길에서 부모를 찾고 있는 미아를 발견했다면 어떻게 하시겠습니까?')까지 다양한 질문을 받는다.
최초 수혜자의 자녀가 현재 연구 대상이다. 최근 미구엘과 여러 동료들은 무작위 통제실험이 보건과 개발 면에서 이룬 성과가 후속 세대에게 이어질 수 있을지 평가할 데이터를 수집 중이다. 미구엘은 이렇게 기간이 긴 것이 장점이라고 생각한다. "연구가 지닌 많은 가치가 장기 수집 자료 집합에서 나옵니다."
한편 장기간의 포괄적 데이터 수집에 윤리 문제를 제기하는 연구자도 있다. 부사라 행동경제연구소의 조엘 왐부아는 묻는다. "데이터 수집 주기는 언제쯤 끝날까요? 충분하다는 기준이 뭘까요? 사람들을 계속 실험 대상으로 삼는 걸 어떻게 정당화할 수 있나요?"
케냐 나이로비의 시장. /사진=Ninaras (Wikimedia Commons)
나는 2023년 봄 케냐 생활 패널 조사의 일환으로 실시하는 인지 검사를 위해 이동 중이던 현장 연구자 팀을 만났다. 이들은 빅토리아호의 해안 도시 포트빅토리아Port Victoria에 깔린 비포장도로 근처의 다 허물어져가는 게스트하우스에 있었다. 강한 폭풍이 도로를 진흙으로 뒤덮어버리는 바람에 이곳에서 밤을 보낸 것이다. 빈곤퇴치혁신기구Innovations for Poverty Action(이하 'IPA')에서 일하는 글래디스 완잘라와 리멧 마게로는 하루종일 진행될 인터뷰를 시작하려고 팀원들을 깨우고 있었다.
무작위 통제실험 대부분을 설계하고 자금을 제공하는 곳은 대학과 자선단체지만, 이 실험을 수행하는 일은 '실행 파트너'인 현지 연구 기관에게 주어진다. 마이클 크레머의 동료가 설립한 IPA의 규모가 제일 크다. 이곳의 현지 직원들은 대부분 '조사원'이나 '현장 실무자'로 일하며, 물어볼 질문과 질문하는 어조, 연구의 목표에 관한 교육을 받는다. 그런 다음 시골에 가서 연구 참여자를 모집하고 인터뷰하며, 대조군과 실험군을 추적하는 고된 작업을 수행한다. 한 번에 몇달씩 벽촌에 머물 때도 있다. 현장 직원은 전부는 아니어도 대다수가 케냐인이며, 일부는 자신이 연구 대상이 되어서 처음으로 IPA를 접했다.
이들이 하는 일은 고되고 감정 소모가 심할 때가 많다. 일당은 10~20달러 수준으로, 케냐에서도 큰 돈이 아니다. 현장 연구자들이 자비를 털어 수혜자들에게 음식 살 돈을 준다고 알려졌는데, 이는 연구 결과를 왜곡할 수 있다. "월말이 되면 데이터를 날조해버려요. 실험을 이런 방식으로 설계하기 때문에 현실에서 실패할 수밖에 없는 겁니다. 이런 현장 연구자 때문에 실험이 계속 엎어지는 거예요." 사회학자 킹고리의 말이다. 그는 나에게 어느 수혜자 가족의 자녀가 사망했던 한 무작위 의학 임상실험 사례를 들려줬다. 현장 연구자가 이 가족이 계속 치료를 받을 수 있도록 원 대상이 아닌 다른 자녀를 연구 대상에 대신 포함하는 데 동의한 것이다. 연구자 동료가 일일 할당량을 채우려고 응답자 설문지를 직접 작성했다는 이야기를 들은 적이 있다고 고백한 현장 연구자도 있다. 이런 이야기 중 다수는 무작위 통제실험 초기부터 나오기 시작했다. 최근 IPA 및 유사 단체들은 교육과 부정 적발 체계를 개선했다. 기브디렉틀리의 말을 빌리면 "데이터 사기와 금전 사기는 ... 계약 해지라는 처벌을 받는다."
공식적으로 모든 연구자는 피실험자로부터 고지에 입각한 동의를 받아야 한다. 그러나 동의를 얻었다고 해서 피실험자가 자신이 맺는 계약과 자신에게 거절할 선택권이 주어진다는 점, 또는 실험이 무기한으로 진행될 수 있다는 사실을 이해하고 있다는 뜻은 아니다. "사람들은 계속 파악하려고 합니다. '지금 자신들과 연구자 사이에 교환되고 있는 가치가 무엇일까?' 그들은 자신들로부터 어떤 추출 작업이 진행 중인 건 알지만 그것이 어떤 가치가 있는지는 좀처럼 알아내지 못합니다." 킹고리의 말이다.
내가 이야기를 나눠 본 거의 모든 현장 연구자는 현지인이 왜 자신이 대조군에 배정되었는지 알려달라고 요구하고, 무작위 배정 기법에 문제를 제기하고, 매년 마을을 다시 찾는 연구자와 대화를 거부하더라는 이야기를 들려주었다. IPA 부시아 지부에서 일하는 연구 관리자 에릭 오치엥은 다른 피실험자는 전기나 현금을 받는데 자기는 왜 아무것도 못 받는지 묻는 피실험자들이 길에서 다가온 적이 있다고 했다. 실험에 여러 번 참여했는데도 늘상 통제그룹에 들어가는 이유를 이해하지 못하는 피실험자도 있었다. 오치엥은 내게 이렇게 말했다. "가끔 피실험자들이 와서 물어봐요. '왜 내 이름은 컴퓨터가 절대로 선택하지 않는 건가요?' 그러면 우리는 무작위 배정 방식이라고, 다른 해결책이 있을 거라고, 선정될 수 있다고, 모두에게 기회가 있다고 최선을 다해 설명합니다." 많은 이들이 여전히 참여자를 제대로 무작위 선정하는지 의심한다. 한 수혜자 집단은 의심이 너무 커져서 모자에서 선정자 이름을 꺼내는 방식의 공개 추첨을 연구자들에게 요구하기도 했다.
학계의 길잡이가 된 구충 연구의 공동 저자 미구엘은 윤리적 문제에 치열하게 대응한다. 그는 이렇게 말한다. "구충 사례에서는 대상이 확대되고 더 많은 지역사회가 단계적으로 포함될 것이라는 점이 설명되었습니다." 미구엘에 따르면 모든 케냐인에게 '개입'을 배분할 수 있을 정도로 충분한 자원을 보유한 비정부기구는 없다. 따라서 무작위 선정과 과학적 건전성 확보가 가장 공정한 진행 방식이라는 것이다. 미구엘은 말한다. "그런데 문제가 있습니다. 통제그룹에서 데이터를 수집하면 윤리적인가요? 통제그룹에 있는 사람들이 얻는 것은 무엇일까요? 연구자들이 이 두 가지 생각을 조화시키는 방법은 실험그룹이든 통제그룹이든 모두가 참여한 시간에 대해 약간의 보상을 받는 것입니다."
그러나 '무작위 배정'이라는 개념은 깨끗한 물과 충분한 음식, 튼튼한 집을 확보하는 것이 주요 관심사인 가족에게는 뜬구름 잡는 말로 들릴 수 있다. 그리고 통제그룹이 실제로 받는 보상의 형태는 실험그룹에 속한 이웃들에게 주어진 뜻밖의 소득에 비하면 하찮아 보일 것이다. 현금 원조 연구는 유난히 불화를 초래할 수 있다. "어떤 남성은 두 번째 아내를 얻었고, 어떤 가정은 깨졌고, 남편을 떠난 아내도 있어요." 연구 기업 REMIT의 현장 매니저 앤드루 와브와이어의 말이다. 오켈라-C와 마찬가지로, 지원금이 저주받은 돈이라서 받으면 뱀으로 변한다는 소문이 퍼졌다. 내가 포트빅토리아에서 만난 IPA 현장 직원 완잘라는 의뢰를 받은 가정으로부터 조사를 거절당한 경험이 있다. 와브와이어의 직원은 요즘 조사를 실시할 가정을 방문할 때 나쁜 기억을 떠올리게 할 수 있어서 현금 원조에 대해 명확히 묻지 않는 편이다.
마게로는 16년 동안 무작위 통제실험을 해 오면서 지금까지 만났던 사람들 중 연구의 작동 방식을 제대로 이해하는 사람은 딱 한명뿐이라고 한다. "이 연구에서 좋은 결과가 나와요. 일부 사람들이 제대로 이해하지 못하는 것 뿐이지요. 이들은 자신에게 주어지는 직접적인 혜택을 [눈으로 보기를] 원해요. 앞으로 생기게 될 공동체의 이익은 바라지 않지요."
나이로비 소재 연구기업의 디렉터 톰 웨인Tom Wein은 개발경제학자들이 보다 윤리적으로 일할 수 있는 간단한 방법을 제안한 바 있다. 바로 연구 참여자에게 적절한 방식으로 고마움을 표시하고, 연구 결과를 알리고, 진행 중인 연구의 최근 현황을 꾸준히 알려주는 것이다. "대체로 개발경제학 종사자와 이야기를 해 보면, 이 사람들은 심혈을 기울여 올바른 방식으로 일을 하려고 해요." 웨인의 말이다. 그는 연구자들이 피실험자의 존엄성을 얼마나 충실히 존중하는지 측정하는 작업을 돕는 프로젝트를 진행하고 있다.
현금 원조 무작위 통제실험의 대부분을 후원해 온 기브디렉틀리도 '수혜자의 존엄성'이라는 문제에 더욱 관심을 기울인다. 기브디렉틀리는 2016년부터 모든 연구에 감사를 실시하여 수혜자를 더욱 존중할 수 있는 방법을 평가하고 있다. 수혜자가 궁금한 점이 있으면 보다 편리하게 단체에 연락할 수 있도록 전화 상담 서비스도 개설했다. 현장 직원들은 이제 마을 주민들의 코티솔 수치를 확인하려고 타액 샘플을 수집하지 않는다. (지금까지 연구 결과 현금 원조는 스트레스를 줄이는 것으로 확인되었다.)
기브디렉틀리는 일부 연구에서 연구가 완료된 후 통제그룹에게 현금을 지급한다. 이 단체는 이런 변화가 현지의 불평등과 긴장을 악화시킬 위험을 줄이고 연구 완결성과 유효성을 지킬 수 있다고 믿는다. 왐부아는 이런 접근법이 공정하다고 생각한다. "의학에서 약이 효과가 있으면 모두에게 나눠주잖아요." 원래의 개입을 대조군 전원에게 제공하는 것도 모든 참여자에게 연구 종료를 알리는 방법이다. 연구 종료는 기본적인 사실이지만 늘 전달되지는 않는다. "우리는 마을로 돌아가서 연구가 종료되었다고 알려줘야 합니다." 왐부아의 말이다. 미구엘은 연구자가 수혜자와 결과를 공유할 방법을 연구하고 있다.
무작위주의자는 모든 방법상의 문제와 윤리적 딜레마에도 불구하고 무작위 통제실험이 인류의 지식에 기여한다고 주장한다. 세분화된 증거 기반 결과를 산출해서 기금 제공자와 국제 기구가 의지할 수 있는 명백한 대안이 없는 실정이다. 뒤플로는 앞으로 10년 뒤에는 무작위 통제실험이 보다 널리 받아들여지고 각국 정부가 그 결과를 수용하기를 희망한다. 뒤플로에게는 실험 자체에 대한 장애물보다 국가 규모에서 그 결과를 실행에 옮기는 과정이 "더 험난할 때가 많다."
그러나 영향력 있는 정책 입안자들 중 일부는 아직도 무작위 통제실험의 가치에 의문을 품고 있다. 인도 정부의 전직 수석 경제고문 아르빈드 수브라마니안은 재임 기간에 무작위 통제실험이 자신의 관심사항이 아니었다고 내게 고백했다. "무장위 통제실험은 중요한 거시경제 문제를 전혀 분석하려고 하지 않았어요. 작은 미시경제학적 개입에만 집중했지요. 무작위 통제실험이이 중요한 문제에 답할 수 있는 능력은 '제로'에 가깝습니다." 수브라마니안이 보기에 무작위 통제실험이 부상하는 것은 "저명한 학자,자선 단체, 약한 정부들로 구성된 자기들만의 클럽"의 영향 때문이다. "그래서 국가 역량이 취약한 사하라 이남 아프리카 지역에서 무작위 통제실험이 주로 사용될 것입니다."
인도의 대표 개발경제학자이자 현재 안드라 프라데쉬 주 재무장관인 굴자르 나타라잔은 무작위 대조시험이 실제로는 효과가 없고 "동떨어진 기술적 보완책"만 제공할 뿐이라고 주장한다. 국가 전체에서 시행해보면 무작위 통제실험에서는 매력적으로 보였던 동일한 특징들이 오히려 문제점으로 보이기 시작한다. "현장 실험의 작은 규모와 활동적인 연구 보조원에 가려졌던 국가의 관리, 모니터링 역량이 국가 차원에서는 드러나버립니다. 현실 문제에 직면하면 논리가 허물어져요." 나타라잔의 말이다. (뒤플로는 J-PAL이 무작위 대조시험 결과를 바탕으로 정책을 고안하기 위해 인도의 타밀 나두 주와 장기 파트너십을 맺었다고 말한다.)
오켈라-C로 돌아가보자. 실험 대상이었던 모리스 마렌디는 연구자들을 여러 번 만난 일을 떠올리며 왜 자신이 현금 지원 대상으로 선정되지 못했는지 궁금해할 수밖에 없다. "왜 나는 떨어지고 다른 사람들은 혜택을 받았는지 모르겠어요." 마렌디의 말이다. 케냐에서 개발경제학자를 연구하는 인류학자 에이드리언 윌슨Adrian Wilson은 이렇게 말한다. "모리스에게 이 실험은 그의 삶에서 가장 중요한 상호작용 중 하나였어요. 삶이 바뀔지 모를 만큼 큰 돈을 받을 수 있는 순간이었는데 그렇게 되지 않았죠." (기브디렉틀리는 이 상황을 잘 안다고 말하는 마을 연장자의 말을 전하면서 마렌디가 현금을 "전혀" 받지 못한 주된 이유는 무작위 통제실험이 끝난 후 지급을 "거절"했기 때문이라고 주장한다.)
마렌디는 오테도와 가끔 대화를 나눈다. 오테도는 돈이 마을 안에서 자신의 지위를 바꿨다고 인정한다("[동네 사람들이] 나를 대단한 사람으로 보는데, 아시죠?"). 두 사람 모두 원조를 받은 사람과 그렇지 못한 사람 사이에 원한은 없다고 말하지만, 상황의 차이가 늘 눈에 띈다.
마렌디는 현장 직원들이 자신을 세 차례 방문해서는 스트레스 수치를 검사하는 데 쓰겠다며 타액 샘플을 두 차례 받아 갔다고 말한다. "계속 질문하더라고요. '하루에 돈을 얼마나 쓰십니까?' '어떤 일을 하십니까?'" 그는 대화를 하면서 연구자들이 서명을 받으려고 제시한 동의서를 꺼냈다. 애초에 연구자가 그의 오두막을 방문한 이유를 아는지 묻자 그는 자기가 알기로는 "이들은 아프리카 경제를 부양하러 온 것"이라고 대답했다. 마렌디는 언젠가 이웃들이 한참 전에 받은 원조금을 마침내 자신도 받게 되기를 바라고 있다. 지금으로선 통제그룹 신세에서 벗어나기를 기다릴 뿐이다.
필자인 린다 킨스틀러(Linda Kinstler)는 이코노미스트의 자매지 1843매거진의 정기 기고자이며, UC 버클리의 레토릭 전공 박사후보이다. 2023년에 논픽션 부문에서 화이팅(Whiting) 상을 수상한 그는 뉴욕타임스, 워싱턴포스트, 애틀랜틱 등에도 기고하고 있다.
흔히 'RCT'라는 약자로 불리는 무작위 통제실험은 인간의 주관이 개입할 여지를 최대한 차단하여 가장 객관적인 실험 결과를 낳기 위한 기법으로 과학에서는 '성배'처럼 여겨집니다. 우리에게는 의약품이나 치료기법의 효능을 확인하기 위한 임상시험에서 사용되는 것으로 잘 알려져 있죠. (의외로 많은 치료법들이 가장 높은 단계의 RCT에서 유의미한 결과를 거두지 못합니다.)
그런데 만약에 경제학에서도 이런 실험이 가능하다면 어떨까요? 2019년 노벨 경제학상을 받은 학자들은 경제학 연구에 RCT를 도입한 선구자들입니다. 하지만 사람을 대상으로 하는 실험이기 때문에 윤리적인 문제를 피할 수가 없습니다. 이 문제를 상세히 다루고 있는 이코노미스트의 자매지 1843매거진의 3월 1일 기사에서는 '기브디렉틀리'라는 자선단체가 후원하는 케냐에서 실시 중인 연구를 주로 다룹니다. 기브디렉틀리는 오래 전부터 저개발국의 사람들을 돕는 데 현물 지원보다는 현금 지원이 훨씬 효과적이라는 철학을 갖고 구호 활동을 벌여왔습니다. 이에 대한 연구의 결론이 어떻게 날 지는 좀 더 두고볼 일이겠지만 장기적으로는 이 연구가 한국 사회 일각에서도 종종 거론되는 '기본소득' 제도와 연관돼 거론될 가능성도 있습니다.