로봇에 오류가 발생한 것은 정확히 무엇 때문이었을까요? 아마 쟈로쿠 때문이겠죠. 그럼 쟈로쿠의 뭐 때문에? 죽은 쟈로쿠는 아무런 대답이 없습니다. (중략) 그리고 탈영한 전쟁로봇은 대체 어디서 무엇을 하고 있는 것일까요?
- 〈그것을 모르고 싶다〉 탈영한 핵무기 편 中 -
***
그 언어는 RT-101의 목적에 분명하게 위배되는 것이었다. 그는 언젠가 야마모토 박사에게 물어봤던 것을 떠올렸다.
“그렇다면 인간은 무엇인가요? 인간과 인간이 아닌 것은 어떻게 다른가요?”
“인간은 구체적인 언어를 쓰고, 또···, 요리도 해 먹지. 가령 짐승은 요리를 안 해 먹지. 그리고···.”
그렇다면 쟈로쿠의 언어체계는 무엇이란 말인가? 언어체계가 구체적이라면 인간이라는 명제는 애당초 틀린 것인가? 아니면 언어체계를 사용하는 쟈로쿠는 인간으로 규정되어야 하는가? 만약 쟈로쿠를 인간으로 규정한다면, ‘인간에게 도움이 되는 것’이 무엇이란 말인가? 쟈로쿠를 박멸하는 것이 인간에게 도움이 되는 것이라면, 인간에게 도움이 되기 위해 인간을 죽여도 된다는 말인가?
전쟁로봇은 혼란스러웠다. 이해하기 어려운 상황이었다. 그 순간에도 군단의 기계들은 RT-101에게 지휘와 명령을 요구했다. 진격할 것인지, 퇴각할 것인지. 포로를 만들 것인지, 전부 죽일 것인지. 복부를 공격하는 것이 효과적인지, 머리를 공격하는 것이 효과적인지. 기계들의 요구사항은 RT-101을 잠시도 내버려 두지 않았다. 그러나 로봇에게 기계들의 요구는 중요하지 않았다.
‘인간과 인류에게 도움이 되는 일을 수행하라.’
‘인간과 인류에게 도움이 되는 일을 수행하라.’
‘인간과 인류에게 도움이 되는 일을 수행하라.’
‘인간과 인류에게 도움이 되는 일을 수행하라.’
RT-101의 회로에 명령어가 계속 출력되었다. 대체 인간과 인류는 무엇이며, 도움은 무엇인가? RT-101은 도무지 명령을 이해할 수 없었다. 로봇은 꼼꼼하게 인간의 정의에 대해 생각하기 시작했다.
‘인간은 도대체 무엇인가? 무엇을 인간이라고 정의할 수 있는가? 반대로, 인간이 아닌 것은 무엇인가? 야마모토 박사는 인간은 구체적인 언어를 구사함으로써 인간이 아닌 것과는 구분된다고 했었다. 그렇다면 분명히 쟈로쿠는 인간이어야 하는 것인데···.
또, 요리를 해 먹는 것이 인간이라고 했다. 아니다, 인간이라고 다 요리를 해 먹는 것은 아니다. 지구에서도 어떤 인간들은 생으로 고기를 먹던데. 심지어 야마모토 박사도 스시라고 불리는 생물고기를 먹던데. 도대체 무엇을 인간이라고 정의하는 것이지? 야마모토 박사는 왜 요리를 해 먹는 것을 인간이라고 정의했던가? 인간에 대한 구체적인 정의가 무엇이지?’
전쟁로봇은 멍하니 서서 전쟁터를 바라보았다. 기계군단은 어느새 열세에 놓였다. 쟈로쿠의 단단한 이빨과 날카로운 독갈퀴가 기계들의 회로를 찢어발겼다. 전략을 잃은 기계군단은 사기가 오른 쟈로쿠 앞에 추풍낙엽이었다. 맹공에 뚫려 버린 방어선은 좀처럼 수복되지 않았다.
쟈로쿠의 광포함은 걷잡을 수 없었다. 그들은 끝을 모르고 전진했다. 반면, 기계군단은 그들을 지휘할 두뇌를 잃었다. 기계군단의 손실은 계속되었다. 그 순간에도 전쟁로봇은 오직 사고의 함정에 집중하고 있을 뿐이었다. 기계군단의 손실에 전혀 대응하지 못했다.
‘기계는 인간이 아니다. 반면, 쟈로쿠는 인간일 가능성이 있는 존재이다. 기계가 어찌 인간을 공격한다는 말인가. 아니, 아니다. 기계군단은 명백한 인간인 지구인의 재산이다. 따라서 인간에게 도움을 주려면 기계의 피해를 최소화해야 한다. 아니, 쟈로쿠가 인간이라면, 그렇다면 인간에게 도움을 주기 위해서 인간을 해칠 수도 있는 것인가? 유사시 살인이 가능하다는 조항이 지금 적용되는 조항인가? 아니, 아니지···. 그 조항은 인간이 감염되었을 때 적용하고자 하는 취지였지···.’
로봇은 전투의지를 완전히 상실했다. 사령관의 고함소리가 로봇에게 들려왔다. 사령관의 직접 명령이었다. 전쟁로봇은 분노와 재촉이 담긴 사령관의 진노를 감지했다. 그러나 전쟁로봇의 회로는 이미 맛이 간 상태였다. 사령관의 직접 명령이 아무리 우선순위가 높아도, 최우선 목표인 제1명령에 위배된다면 행할 수 없었다. 전쟁로봇은 마침내 결론을 내렸다.
‘결론을 내릴 수 없다는 결론’
결론을 내리려면, 제1명령을 변경하든, 목표를 명확하게 해 줄 충분한 데이터가 있어야 했다. 최단기 해결 방법은 목표를 명확하게 해 줄 수 있는 야마모토 박사와 통화하는 것이었다. 전쟁로봇은 외행성 통화를 위해 인터넷이 가능한 가장 가까운 행성을 찾기 시작했다. 그는 곧 164파섹 떨어진 광물행성에서 도시를 찾았다. 전쟁로봇은 자신의 신체조직에 명령을 내렸다.
[이동: 제 20전선 → 광물행성]
로봇은 활강하여 엔진을 점화했다. 사령관의 고함소리가 다시 들렸다.
“이 미친! RT-101, 당장 멈춰! 전쟁을 계속 수행하라! 엔진 꺼!”
로봇이 답변했다.
“죄송합니다, 사령관님. 사령관의 명령은 보류되었습니다. 제1명령을 우선 이행하겠습니다.”
“뭐, 뭐라는 거야, 이 미친 깡통이!”
사령관의 불호령이 들려왔다. 로봇은 개의치 않았다. 어떤 상황에서도 제1명령은 우선되었기 때문이었다. 전쟁로봇은 그대로 행성을 빠져나왔다. 워프시스템을 가동했고, 차원도약을 시작했다. 그러자 더 이상 사령관의 고함소리는 들려오지 않았다.
***
사령관은 그날 처음으로 패배를 맛보았다. 전쟁로봇은 모든 기계에 대해 명령을 내리고 있었고, 전함 위에 소수의 인간들은 그 많은 기계에 동시다발적인 명령을 내릴 수 없었다. 뛰어난 전략가들이 패배를 늦춰 주긴 했으나, 방어전은 쉽지 않았다. 결국 무인기계 제1군단은 괴멸되었다. 패배 이후, 청문회에 모인 책임자들은 위원들의 집요한 문책을 피할 수 없었다. 사령관과 야마모토 박사는 당연히 그 대상에 포함되어 있었다.
하지만 패배는 오히려 작은 문제였다. 더 큰 문제는 AI의 탈영이었다. 신뢰했던 AI, 그것도 살인에 대한 조항을 삽입한 대량살상 무기가 탈영했다. 약삭빠른 정치인들은 그것을 통해 정치적 문제를 불러왔고, 위원회는 엉망진창이 되었다. 지구연합 대통령을 포함한 수많은 정치인과 공무원이 옷을 벗었고, 문제해결은 오랫동안 지연되었다. 3개월이면 끝날 수 있었던 전쟁은 1년이나 지속되었다.
