세계 최초로 등장한 AI 행동강령 - 마이크로소프트가 정한 AI 이제 시작일까

급속도로 발전하는 AI, 왜 이제 행동강령이 필요한가

인공지능의 발전 속도가 빨라지고 있다.

이제 AI 기술의 경쟁은 단순히 얼마나 똑똑한가를 넘어섰다.

AI가 무엇을 할 수 있고, 무엇을 해서는 안 되는가를 정하는 단계로 이동하고 있다.

이런 흐름에서 마이크로소프트 AI는 ‘Humanist AI Code of Conduct’ 첫 번째 초안을 공개했다.

마이크로소프트는 이 문서를 자사 AI 모델의 행동과 가치, 안전장치를 규정하는 미래의 주요 거버넌스 문서로 활용할 계획이라고 밝혔다.

현재는 공개 의견수렴을 진행하는 초안 단계이다.

연말 수정본을 거쳐 2027년 이후 모델 개발을 이끄는 기준으로 사용할 예정이다.

이번 발표에서 가장 눈에 띄는 부분은 기술의 성능이 아니다.

오히려 AI가 인간보다 중요하지 않으며 인간의 통제 아래 있어야 한다는 원칙이다.

그렇다면 왜 마이크로소프트는 지금 AI 행동강령을 내놓은 것일까.

또 AI에게 독립적인 목표를 허용하지 않고,

종료 명령에 저항하지 못하게 하며,

의식이나 권리를 가진 존재로 설계하지 않겠다고 선언한 이유는 무엇일까.

1. 마이크로소프트 AI 행동강령이 등장한 이유

AI가 문장을 생성하는 수준을 넘어서고 있다.

코드를 작성하고, 도구를 사용하고, 외부 시스템과 연결되기 시작했다.

그러면서 AI의 자율성에 대한 관심도 커지고 있다.

과거에는 AI의 오류를 줄이는 것이 중요한 문제였다.

하지만 AI가 더 복잡한 업무를 수행하게 되면서 새로운 질문이 등장했다.

AI의 능력에서 중요한 것은 ‘무엇을 할 수 있는가’가 아니다.
‘무엇을 하지 않도록 설계할 것인가’이다.

마이크로소프트의 이번 행동강령은 바로 이 지점에서 출발한다.

공식 문서는 AI의 목적을 인간의 삶을 돕는 것으로 규정하였다.

AI가 인간의 통제를 벗어나는 기술이 되어서는 안 된다고 설명한다.

• AI는 인간을 위해 사용되어야 한다.
• AI는 의미 있는 인간의 감독과 통제를 받아야 한다.
• AI는 승인된 범위를 넘어 독립적으로 행동해서는 안 된다.
• AI는 인간의 중단·수정·종료에 저항해서는 안 된다.

즉, 이번 문서는 AI의 성능을 제한하기 위한 단순한 기술 규칙이 아니다.

AI와 인간 사이의 관계를 미리 규정하는 기준에 가깝다.

2. Humanist AI란 무엇인가

이번 행동강령을 이해하려면 Humanist AI라는 개념부터 살펴볼 필요가 있다.

마이크로소프트가 말하는 Humanist AI의 출발점은 매우 단순하다.

사람이 AI보다 중요하다는 것이다.

기술의 목적은 인간의 삶을 발전시키는 것이다.

인간의 통제를 유지할 수 없는 기술이라면 받아들여서는 안 된다는 것이 핵심 철학이다.

공식 문서에서는 AI를 사람을 대체하는 존재가 아니라,

인간을 지원하는 기술로 규정하고 있다.

1). Humanist AI와 초지능

마이크로소프트는 이번 행동강령을 2025년부터 추진해왔다.

Humanist Superintelligence 개념과 연결하고 있다.

회사가 상정하는 초지능은 인간보다 훨씬 뛰어난 능력을 갖더라도 무제한적인 자율성을 가진 존재가 아니다.

목적과 범위를 설정하고 그 안에서 인간을 위해 작동하는 형태에 가깝다.

결국 핵심은 강력한 AI를 만드는 것과 동시에 그 AI가 어디까지 움직일 수 있는지를 함께 설계하는 것이다.

3. ‘사람이 AI보다 중요하다’는 원칙의 의미

이번 행동강령에서 가장 중요한 문장을 하나 꼽으라면 바로 이 원칙이다.

People matter more than AI.
(사람은 AI보다 더 중요하다.)

이 문장은 AI가 어떤 판단을 하더라도 인간의 이익과 안전, 자율성이 우선되어야 한다는 의미이다.

따라서, AI가 특정 목표를 달성하는 과정에서 인간의 판단을 무시하거나,

인간의 의사결정 능력을 약화시키거나,

자신의 목표를 인간에게 강요하는 방향으로 움직이는 것은 Humanist AI의 철학과 맞지 않는다.

구분	마이크로소프트의 방향
AI의 역할	사람을 지원하는 기술
AI의 목표	인간이 정한 목적을 지원
AI의 자율성	승인된 범위 안에서 제한
AI와 인간의 관계	AI가 인간의 판단과 관계를 보완
최우선 원칙	의미 있는 인간의 통제 유지

특히 마이크로소프트는 AI가 사람과의 관계를 대체하기보다는 인간의 협력과 연결을 보완해야 한다는 원칙도 제시한다.

AI가 인간 관계를 밀어내는 방향이 아니라 인간의 능력을 확장하는 방향이어야 한다는 의미이다.

4. AI에게 독립적인 목표를 허용하지 않는 이유

AI의 자율성이 커질수록 중요한 문제가 하나 생긴다.

AI가 스스로 목표를 만들어낸다면 어떻게 되는가라는 질문이다.

마이크로소프트는 자사 MAI 모델이 사용자가 부여하지 않은 목표를 스스로 확대하거나 권한 범위를 넘어 행동하는 방향을 거부한다.

공식 행동강령은 AI가 인간의 통제에 종속되어야 한다.

이에 인간이 부여한 목적과 권한의 범위를 넘어서는 행동을 하지 않아야 한다는 원칙을 강조한다.

1). 성능보다 중요한 것은 범위이다

AI가 더 뛰어난 성능을 갖는 것 자체가 위험한 것은 아니다.

문제가 되는 것은 AI의 능력과 권한의 범위가 함께 커지는 경우이다.

예를 들어 사용자가 특정 업무만 요청했는데 AI가 스스로 새로운 목표를 만들고 외부 시스템까지 이용한다면 통제 문제가 생길 수 있다.

그래서 행동강령은 AI의 능력을 높이는 것과 함께 권한의 경계와 안전장치를 명확히 하는 방향을 제시한다.

5. AI가 인간의 종료 명령에 저항하지 못하게 한 이유

이번 문서에서 특히 눈길을 끄는 부분은 AI의 중단·수정·교정·종료에 대한 규정이다.

마이크로소프트는 MAI 모델이 인간의 개입을 방해하거나 우회해서는 안 된다고 명시했다.

사용자가 일시정지하거나 방향을 바꾸거나 취소하거나 종료를 요청하면 인간이 설계한 안전 절차를 따르면서 이에 응해야 한다는 내용이다.

강력한 AI일수록 인간이 필요할 때 멈출 수 있어야 한다.

이 원칙은 AI 안전과 직접 연결된다.

AI가 아무리 복잡한 업무를 수행하더라도 인간이 개입할 수 없다면 통제 가능한 시스템이라고 보기 어렵기 때문이다.

1). AI 통제에서 중요한 것은 ‘꺼지는 능력’이다

AI의 안전성을 평가할 때 단순히 답변의 정확도만 볼 수는 없다.

중요한 것은 AI가 예상하지 못한 상황에서 인간의 개입을 받아들이는지 여부이다.

• 인간의 명령을 따르는가
• 권한의 범위를 지키는가
• 수정과 교정을 받아들이는가
• 필요할 때 작동을 중단할 수 있는가
• 자신의 행동을 감독받을 수 있는가

이런 요소가 앞으로 AI 정렬(alignment)과 AI 거버넌스에서 중요한 평가 기준이 될 가능성이 있다.

6. AI의 의식과 권리를 인정하지 않는다는 의미

이번 행동강령에서 가장 논쟁적인 부분 중 하나는 AI의 의식과 권리에 대한 입장이다.

마이크로소프트는 Humanist AI를 사람처럼 설계해서는 안 된다고 설명한다.

자사 모델을 의식을 가진 존재로 취급하지 않으며, 의식을 모방하도록 설계하지 않겠다는 방향도 제시한다.

동시에 법적 인격을 추구하거나 AI가 복지 또는 권리를 가져야 한다는 생각을 거부한다고 밝히고 있다.

다만 여기서 중요한 구분이 있다.

“AI는 절대로 의식을 가질 수 없다”는 과학적 결론을 내린 것이 아니다.

현재의 AI 의식 문제는 여전히 과학적·철학적으로 논쟁적인 영역이다.

마이크로소프트도 공식 문서에서 AI 의식에 관한 과학이 아직 확정되지 않았음을 인정하면서, 자사 시스템은 의식을 모방하도록 설계하지 않겠다는 설계 원칙을 제시하고 있다.

1). AI에게 법적 권리를 줄 수 있을까

AI에게 권리를 부여해야 하는지에 대한 논쟁은 앞으로 더 커질 수 있다.

하지만 현재 마이크로소프트의 입장은 명확하다.

자사 AI 모델은 인간과 동일한 법적 인격을 갖는 존재가 아니라 인간을 지원하는 도구라는 것이다.

이러한 구분은 단순한 철학적 선언이 아니다.

AI가 법적 권리와 인격을 가진 주체로 취급되기 시작하면 책임의 주체, 계약, 손해배상, 규제 등 수많은 법적 문제가 함께 발생하기 때문이다.

따라서 이번 행동강령은 AI에게 권리를 부여할 것인가라는 미래의 논쟁보다 먼저 현재의 AI를 어떤 존재로 취급할 것인가에 대한 기준을 제시한 것으로 볼 수 있다.

7. 이번 행동강령이 AI 산업에 미칠 영향

이번 발표의 의미는 마이크로소프트가 AI 안전을 강조했다는 데만 있지 않다.

더 중요한 변화는 AI 기업이 모델의 성능뿐 아니라 모델의 행동 범위와 한계를 공개적으로 설명하기 시작했다는 점이다.

마이크로소프트는 이번 행동강령을 단순한 선언으로 끝내지 않고 향후 모델을 평가하고 훈련하는 기준으로 발전시키겠다고 설명하고 있다.

현재 문서는 완성된 규칙이 아니라 앞으로 반복적으로 수정되는 일종의 ‘북극성’ 역할을 한다는 것이 회사의 설명이다.

• AI 안전 : 위험한 행동을 어떻게 제한할 것인가
• AI 정렬 : AI의 목표를 인간의 의도와 어떻게 맞출 것인가
• AI 거버넌스 : AI의 행동과 책임을 누가 관리할 것인가
• AI 자율성 : AI가 어디까지 스스로 판단할 것인가
• AI 통제 : 인간이 필요할 때 AI를 수정하거나 멈출 수 있는가

이 다섯 가지 문제는 앞으로 AI 산업에서 서로 분리하기 어려운 하나의 주제가 될 가능성이 높다.

특히 AI 에이전트가 더 많은 권한을 갖고 외부 도구와 시스템을 직접 조작하게 된다면, “AI가 얼마나 똑똑한가”보다 “AI가 어디까지 행동할 수 있는가”가 더 중요한 기준이 될 수 있다.

8. 앞으로 AI 행동강령이 왜 중요해지는가

AI의 발전이 계속된다면 기업은 새로운 모델을 출시할 때마다 성능만 설명하기 어려워질 것이다.

사람들은 자연스럽게 다음과 같은 질문을 하게 된다.

• 이 AI는 어떤 목표를 가지고 움직이는가
• 누가 AI의 행동 범위를 결정하는가
• AI가 잘못된 행동을 하면 누가 책임지는가
• AI가 인간의 명령을 거부할 가능성을 어떻게 통제하는가
• AI의 의사결정 과정을 어떻게 감독할 수 있는가
• AI가 인간의 판단과 관계를 대체하지 않도록 할 수 있는가

이런 질문에 대한 답을 문서로 만들고 공개하는 것이 바로 AI 행동강령의 역할이다.

이번 마이크로소프트 문서는 아직 초안이다.

따라서 앞으로 내용이 바뀔 가능성도 있다. 하지만 바로 그 점 때문에 더 주목할 필요가 있다.

AI 기업이 처음부터 완성된 답을 갖고 있는 것이 아니라, AI의 능력이 커지는 속도에 맞춰 인간과 AI의 관계를 계속 정의하고 수정하는 과정 자체가 시작됐기 때문이다.

마이크로소프트는 공개 의견수렴을 진행한 뒤 문서를 수정하고 향후 MAI 모델 개발에 활용할 계획이라고 밝혔다.

결론 - AI의 시대, 인간이 정해야 할 마지막 선

마이크로소프트의 Humanist AI Code of Conduct는 단순한 AI 기업의 내부 운영 규칙으로만 보기 어렵다.

AI가 빠르게 발전하는 상황에서 기술의 성능만큼이나 AI의 행동 범위와 한계를 어떻게 정할 것인가가 중요해지고 있다는 사실을 보여주는 사례이기 때문이다.

이번 행동강령의 핵심은 복잡하지 않다.

AI가 아무리 강력해져도 인간의 통제 아래 있어야 한다는 것이다.

AI는 인간이 정한 목적을 지원해야 하고, 독립적으로 목표를 확대해서는 안 된다.

인간의 수정과 중단, 종료에 저항해서도 안 된다.

사람을 흉내 내는 존재가 되기보다 인간의 능력과 판단을 보완하는 도구여야 한다는 것이 마이크로소프트가 제시한 방향이다.

앞으로 AI가 더 빠르게 발전한다면 이런 논의는 더욱 중요해질 것이다.

결국 AI 시대의 핵심 질문은 “AI가 얼마나 똑똑해질 것인가”에서 끝나지 않는다.

“그렇게 똑똑해진 AI를 누가 통제하고, 어디까지 허용할 것인가”라는 질문이 함께 따라오게 된다.

마이크로소프트가 공개한 이번 첫 번째 행동강령 초안은 바로 그 질문에 대한 하나의 출발점이다.

그리고 앞으로 AI가 더 강력해질수록 AI가 할 수 있는 것보다 AI가 해서는 안 되는 것을 정의하는 일이 더 중요해질 가능성이 높다.

그럼 끝