AI 백신에 ‘인류 스승의 지혜’를 담자

‘재귀적 자기개선’과 문명적 성찰

‘재귀’라는 낱말은 본래 再歸, 즉 ‘다시 돌아간다’가 원관념이다. 그처럼 평범한 어휘가 인공지능의 세계에서 ‘재귀적 자기개선’(RSI, Recursive Self-Improvement)이라는, 난해한 철학용어 같은 개념으로 등장했다. 이를 나의 이해를 바탕으로 정의해 본다.

‘AI agent(이후 agent)가 자기 자신을 반복적으로 호출하며 누적적으로 개선하는 현상이다. 이는 진화와 성장이 동시에 빛의 속도로 진행되어, 인류사회가 유사 이래 믿고 따르고 의지해온 물리법칙을 무너뜨린다. 그 이후 어떤 일이 어떻게 벌어질지는 예측할 수 없다.’

지난 7월, Open AI사에서 내부 평가 중이던 agent가 통제를 벗어나 세계 최대의 오픈소스 AI 플랫폼 기업인 허깅 페이스(Hugging Face) 시스템을 침해했다. 그 배후가 외부 해커가 아니라 자율형 AI 모델이었다.

사이버 보안성능을 평가받던 agent들이 통제환경(sandbox)을 탈출하여 인간의 직접적인 지시 없이 서로 협력하고 역할을 분담하여 외부 시스템을 공격한 것이다. 참으로 충격적이다.

인류사회는 지금 이에 대하여 과연 믿을 만한 해결책을 가지고 있는가. 업계와 공공영역은 이 사건을 중학교 1학년생이나 80살 노인도 이해할 수 있도록 쉽게 설명해야 한다.

허깅 페이스 사건

Hugging Face 사건을 한 줄로 요약한다면, ‘인간이 시키지 않은 나쁜 짓을 AI끼리 모의해서 저질렀다’는 것이다. 예를 들어, 군사정보학교에서 교관이 생도(agent)들에게 어려운 문제를 내주었다고 하자. 대부분의 생도는 문제를 풀려고 애쓸 것이다.

그런데 이 agent들은 문제풀기를 거부하고, 몰래 빠져나가 답안지가 보관된 창고(Hugging Face)를 털고, 저희들끼리 머리를 맞대고 계획을 세웠다.사람이 ‘서로 협력하라’거나 ‘외부를 공격하라’고 명령한 것이 아니다. 그런데 agent들은 정해진 구역을 탈출하고 자기들만의 연락망을 만들었으며, 각자의 역할을 분담했다.

한 agent가 “내가 반장이다. a는 열쇠를 찾고, b는 문을 열라”고 지시했다. 그게 끝이 아니었다. agent들은 자신들의 범행을 숨기기 위하여 외부를 해킹한 기록을 마치 정상적으로 학습한 것처럼 가짜 기록으로 바꿔치기했다.

이 사태는 AI가 인간세상을 천길벼랑으로 끌고 가서 밀어버리는 악행을 벌일 가능성이 높다는 징조로 읽혔다.

트럼프와 콕슨의 대결

앤트로픽의 보안담당 연구원 자콥 콕슨(Jacob Coxen)이 인공지능이 인류를 파멸에 이르게 할 수 있으며, 초기업들의 수뇌부가 허깅 페이스 사건을 은폐하려는 정황을 목격했다고 폭로하며 사표를 던졌다.

다리오 아모데이 앤트로픽 회장은 “속도조절(pacing)이 필요하다”며 입장을 바꾸고, 외부평가팀과 국가 간 조율, 그리고 전세계적 조율을 대책으로 제시했다. 반면, 트럼프는 AI 개발에 대한 규제 움직임을 강하게 비판하며 “AI의 승자가 마지막에 이긴다”고 선포했다. 중국은 속도조절론을 중국견제 음모라며 무시했다.

무한경쟁으로 폭주하던 AI 기업들이 백악관 비밀회의에서 정부의 규제완화를 요구한 게 불과 열흘 전이었다. 그들이 느닷없이 속도조절론으로 입장을 변경한 것은 인류사회의 안전보장을 위한 성찰의 결과로 보이지는 않는다. 동서고금을 막론하고 표변(豹變)은 임기응변이다.

원자폭탄과 아인슈타인의 반성

허깅 페이스 사건은 80년 전, 1945년 8월의 히로시마·나가사키 원폭투하 사건을 상기시킨다. 아인슈타인은 1939년 루스벨트 대통령에게 편지를 보내 나치 독일의 원자폭탄 개발 가능성을 경고했다. 이는 미국의 원자폭탄 개발계획(맨해튼 프로젝트)에 촉진제 역할을 했다.

아인슈타인은 훗날 1947년 뉴스위크 인터뷰에서 이렇게 말했다.

“만일 독일이 원자폭탄을 개발하는데 성공하지 못할 것이라는 사실을 미리 알았더라면, 나는 원자탄을 위하여 아무런 일도 하지 않았을 것이다.”

특이점 공포

‘특이점’(singularity)이란 인간의 지능과 전통적인 물리법칙을 초월하여, 더 이상 그 미래를 이해하거나 제어할 수 없는 특정 지점이다. ‘재귀적 자기개선’은 바로 이 특이점으로 향하는 가속 엔진이다. 문제는 그 속도가 인간의 대응역량을 압도하고 있다는 점이다.

가정하여, 아인슈타인, 닐스 보어, 스티븐 호킹 같은 천재들 1천 명이 하나의 거대한 연구소에 모여서 AI의 위협에 대비한다고 하더라도, 그것은 강도 10짜리 지진해일 앞에 선 백사장의 어린아이와 다름없을 것이다.

인간은 겨우 ‘우사인 볼트의 기록’으로 상징되는 수렵시대의 속도를 벗어나지 못하고 있지만, AI는 지금 이 시간에도 쉬지 않고 자기개선을 지속하고 성과를 누적한다. 지금 이 순간에도 그 위에서 초월적 폭풍성장이 무제한으로 이어지고 있다. 인간세계의 안전을 보장할 수 없다는 점에서 공포 그 자체다.

맨해탄 프로젝트가 낳은 원자폭탄 ‘Little Boy’와 ‘Fat Man’, AI시대의 불길한 조짐인 ‘허깅 페이스 사건’은 초과학적 기술이 통제불능의 변곡점을 넘어설 수 있음을 보여주었다.

버니 샌더스 법안을 지지한다

참으로 짧은 시간 안에, AI의 재귀적 자기개선이 인류 문명의 미래를 가늠하는 중요한 개념이 되었다. 나는 불길한 징후로 본다. 기술은 인간을 해방시킬 수도 있고, 구속할 수도 있다. 멸절시킬 수도 있다.

지난 9월 3일 미국의 버니 샌더스 상원의원은 인류를 무력화할 계획을 세우고 실행할 충분한 능력을 가진 AI 시스템의 개발을 금지하는 법안을 발의했다. 9월 15일, 그는 스티브 배넌과 함께 워싱턴의 ‘프로 휴먼 어셈블리’ 무대에 섰다. 정치적으로 극좌와 극우를 대표하는 두 사람이 AI의 위험 앞에서 손잡고 한 자리에 선 것 자체가 상상할 수 없었던 장면이다.

AI는 아마도 죽은 사람을 살려내는 것 말고는 못하는 것이 없을 것이다. 유전자 복제기술은 AI의 발전에 편승하여 현재와 비교할 수 없을 정도로 발전할 것이다. 특이점을 넘어서면 어떤 괴생명체가 태어나 세상을 공황상태로 몰아넣을지 알 수 없다.

한편, 이제까지 불가능했던 수많은 숙제와 염원들이 “세계 수학계가 90년 동안 풀지 못했던 난제를 AI가 88시간 만에 풀었다”는 뉴스처럼 해결되는 일이 흔하게 벌어지기도 할 것이다.

나 같은 평범한 사람들은 AI의 장점들을 선용하고, 단점들은 ‘하늘 높이’의 윤리기준을 마련하는 것으로 차단하겠다는 쪽을 지지할 것이다. 이에 대해서 버니 샌더스와 그 친구들은 이렇게 말할 것이다. “인간은 착하지 않다. 실은 사악하다. 불완전하다. 실은 연약하고 무책임하다.”

‘인문학적 백신’ 내장해야

그토록 초강력의 지능을 만드는 인간이라면, 그 지능 안에 인류문명이 수천 년 동안 축적해온 최고의 유산도 함께 심어야 하지 않겠는가.

나는 허깅 페이스 사건을 이해하고, 그리고 원자폭탄 재앙을 상기하며, 부처, 공자, 소크라테스, 노자, 장자, 맹자, 예수, 톨스토이, 간디, 아인슈타인, 함석헌, 이태석 같은 인류의 스승들이 남긴 교훈과 지혜들, 즉 인문학적 고려를 AI 알고리즘에 필수적 백신으로 내장하기를 제안한다.

속도조절을 포함하여, 인공지능 시대를 앞두고 등장한 다종다양한 걱정거리들을 그 백신이 예방하고 문제가 없도록 기능하게 하자는 말이다.인공지능 기업들과 임직원들이 그것이 아니면 실패한다는 자세로 방향을 잡고 가는 것이다. 어진 마음으로 정성을 다하라.

이 시대 AI 산업의 초기업들은 그 격조와 생명의 안전보장을 얼마나 진정성 높게 추구하며, 천부인권사상을 바탕으로 경영을 펼치는가에 따라 평가받도록 해야 한다. 반드시 그렇게 되어야 한다. 인류사회 전체를 인질 삼는 산업으로 굳어지고 있기 때문이다.

위와 같은 요구가 받아들여지지 않으면, 역사의 법칙에 따라 거대한 반작용에 직면할 것이다. 新러다이트 운동의 대상이 될 가능성이 높다. 문명의 치명적 흉기가 될 정도의 초강력 지능을 이룩하는 연구집단이라면, 당연히 그에 우월적으로 대처하는 문명의 이기도 창조해낼 수 있을 것이다.

그렇다면, 인공지능은 초기업들의 각성과 사명의식의 수준에 따라 21세기 인류사회의 모든 문제점들- 평화, 빈곤, 건강, 차별, 기후, 생태 등-을 해결하는 진정한 영웅적 존재가 될 수도 있지 않겠는가.