고영향 AI 판단기준, EU와의 실무적 차이
EU 집행위원회 (Commission)은 5월 19일에 AI법 "제6조의 고위험 분류 판단에 대한 가이드라인 초안" (Draft Commission guidelines on the classification of high-risk AI system under Article 6; 이하 '가이드라인 초안’이라 칭함)을 발표하였습니다. EU AI 법 제6조제5항은 2026년 2월2일까지 집행위원회가 고위험 분류에 대한 가이드라인을 제공하게끔 명시하였지만 집행위원회는 이른바 AI Omnibus 관련 정치적 합의 이후, 부록 III의 일정 영역에 관한 고위험 규제 적용시점을 2027년 12월 2일로, 제품에 통합된 AI 시스템에 대해서는 2028년 8월 2일로 제안하고 있습니다.
비록 최종안이 만들어지기까지 6월23일까지 의견 수렴이 더 필요한 초안의 단계이지만 AI 법상의 고위험 판단 여부야 말로 사업자에게는 제일 중요한 관심사라는 점에 이론의 여지가 없습니다.
우리도 1월 22일부터 AI기본법이 시행되고 있고 '고영향 판단에 대한 정부의 가이드라인' (이하 '정부 가이드라인'이라 칭함)도 발표되었지만 세부 영역별 고영향 해당 여부를 예측 가능할 정도로 객관화한다는 것은 대단히 어려울 수밖에 없는 법 구조를 가지고 있고 우리 역시 강제규정의 시행을 최소 1년은 늦추고 있는 등의 사정 때문에 EU 집행위원회가 만들어내는 '가이드라인 초안'을 더욱 주목하게 됩니다.
Ⅰ. 우리 AI기본법과 EU AI법간 구조적 차이
1. 의도된 목적 (intended purpose)의 해석
1) ‘가이드라인 초안’은 고위험 분류에 대한 '일반 원칙' (general principles)에서 고위험 규제의 출발점인 AI의 '의도된 목적' (intended purpose)에 대해 상세하게 설명합니다.
개발사업자 (provider)가 제공하는 사용설명서, 영업자료, 기술적 문서 등에서 밝혀진 AI의 사용 맥락, 조건 등 AI 개발사업자가 개발 당시부터 생각하고 있는 기능적 측면에 대한 것으로서 AI법 제6조의 고위험 분류를 위한 첫번째 판단 관문이라고 할 수 있습니다.
범용 (general-purpose) AI처럼 특정 사용목적, 의도가 정해진 것이 아닌 경우에도 고위험 영역 사용을 의도적으로 배제하게끔 설계된 것이 아니라면 특정 고위험 사용목적의 AI 시스템에 통합되거나 그 intended purpose가 고위험 용도로 설정·변경되는 경우 고위험으로의 분류와 provider 지위 문제가 발생할 수 있습니다. 더욱이 개발사업자가 서비스이용약관 등을 통해 고위험 영역에 사용되는 것을 의도하지 않았음을 천명하는 것만으로는 부족하다고 명시하고 있습니다.
즉 기능과 성능적 측면에서 AI의 사용목적이 제한되어 있다면 개발사업자가 이를 분명하고도 일관되게 사전에 밝히도록 EU의 '가이드라인 초안'은 요구하고 있다는 점에서 ‘의도된 목적’이라는 고위험 규제의 출발점이 객관적으로 파악되어야 한다는 점을 강조하고 있는 것입니다.
2) AI모델의 개발사업자 (provider)가 자신의 AI 시스템이 고위험 규제를 받아야 되는지를 1차적으로 판단하게끔 되어 있는 것은 우리의 AI기본법 역시 동일한 구조입니다. AI 법 자체가 객관화된 규범의 수범자, 즉 의무의 주체로 자연인이 아닌 사업자를 정했고 변화하는 기술과 응용에 대한 제일 정확한 지식을 개발사업자 스스로 가지고 있다는 점에서 개발사업자에게 1차적 자체 판단권을 주고 있는 것입니다.
다만 EU AI법은 법 제6조제3항에서 AI시스템이 고위험 분류에서 제외되는 조건들을 열거하고 있을 뿐만 아니라 모델 개발사업자 스스로 고위험이 아니라고 자신의 모델에 대해 판단을 하였다면 법 제6조제4항은 제품과 서비스의 출시 전 자체 평가서를 규제기관에 등록하여 사후 감시를 받도록 통제하고 있다는 점에서 완전한 자율권은 아니라고 할 수 있습니다.
더욱이 법 제80조에 따라 규제당국은 사업자에 의한 AI 고위험 자체 분류를 수시로 평가, 시정을 요구할 수 있게 하고 있고 만약 고위험 규제를 회피하기 위해 의도적으로 비 고위험으로 사업자가 분류하였다면 법 제99조에 따른 제재를 받게 하고 있습니다.
반면, 우리 AI 기본법은 그러한 자율적 판단의 한계를 정하지 않고 있습니다. 즉 AI기본법은 EU AI법과 같이 고영향 자체 판단을 사업자가 사전에 하게끔 강제하고는 있지만 불이행에 따른 제재규정은 없고, 과기정통부 장관의 확인 단계요청과 같은 규제기관의 감독단계로 더 나아갈 것인지 전적으로 사업자의 판단에 맡기고 있습니다. (제33조)
따라서 만약 사업자가 고영향이 아닌 것으로 자체 평가하여 시장에서 판매하였다면 사후에 사실조사 (제40조)와 같은 예외적 절차나 사고발생 등에서 확인되지 않는 한 설사 규제대상에서 개발사업자가 고의로 누락되었더라도 AI기본법 자체적으로 규제기관이 이를 찾아서 규제하거나 사후에라도 이를 이유로 제재를 가할 수는 없는 구조입니다.
3) EU AI법은 모델 개발사업자가 AI모델을 자체 평가하여 고위험 여부를 판단하게끔 하고 있지만 크게 2가지 법적 장치를 통해 자율 판단의 한계를 정하고 있습니다.
첫번째는 법 제6조제3항의 고위험 판단 배제의 조건규정입니다.
즉 EU AI법 제6조제3항은 부록 III에 해당하더라도, 먼저 해당 AI 시스템이 자연인의 건강·안전·기본권에 중대한 위해 위험을 초래하지 않아야 하고, 특히 의사결정 결과에 실질적 영향을 미치지 않아야 한다는 상위 요건을 요구합니다. 그 안에서 다시 a) 좁은 절차적 업무, b) 인간이 이미 완료한 활동 결과의 개선, c) 기존 의사결정 패턴·이탈 탐지, d) 부록 III 평가를 위한 예비작업 중 하나에 해당하는 경우에 한해 고위험 예외가 인정될 수 있게 합니다. 다만 자연인에 대한 profiling을 수행하는 경우에는 항상 고위험으로 분류됩니다.
이 조건들 중 AI가 인간의 판단을 대체하거나 번복하면 안 된다는 점을 '가이드라인 초안＇이 특히 강조하고 있는 것은 b)와 c)라고 볼 수 있습니다.
b)에서는 review가 아닌 improve라는 단어를 쓴 이유는 인간의 결정, 판단을 바꾸기 위한 용도가 아닌 검증하거나 (verify) 다듬는 (refine) 용도로만 사용하여야 한다는 의미라고 설명합니다. 또한 c)에 대해서도 AI가 이미 완료된 인간의 행동, 판단을 AI가 사후적으로 평가하여 인간에게 알려주는 (inform)데 사용되어야지 대체하여서는 안된다고 강조합니다.
이런 EU AI법상의 4개 필터링 조건들은 논리적으로 의사결정 결과에 실질적으로 영향(materially influence)을 주지 않는 시스템은 고위험의 법적 정의인 인간의 생명, 신체의 안전, 기본권에 중대한 위험을 초래하지 않는다고 판단하기 때문입니다. 물론 이러한 필터 적용결과 고위험 분류에서 배제되더라도 시장 출시 전 자기평가를 문서화하여 등록케 하는 의무가 개발사업자 (provider)에게 따라오게 됩니다. 또한 EU AI법은 고위험 개발사업자의 자체 평가 (conformity assessment)에 대한 상세한 규정 (제43조)을 둠으로써 자체 평가가 남용되지 않도록 하고 있습니다.
반면, 우리의 AI기본법은 이런 고영향 자체 판단을 위한 세부 필터 규정 자체가 없기 때문에 구조적으로 고영향 영역에 해당되는 지의 여부를 사업자의 자율판단에 전적으로 의존하게 되는 (제28조) 큰 차이가 발생하게 됩니다.
두번째로 개발사업자의 자율판단에 대해 고위험 AI시스템의 공급망에 있는 모든 사업자들이 역할별 의무를 분담케 하고, 일정한 경우에는 provider 지위를 전환·의제함으로써 고위험 분류 회피를 통제하고 있습니다. 특히 우리와 같은 개발사업자와 이용사업자의 단순한 구도가 아니라 distributor, importer, deployer, third party로 세분화되어 있는 EU AI법 사업자 공급망 구조에서 실무적으로 중요한 의미를 가지게 됩니다.
구체적으로 EU AI 법 제25조는 ①사업자가 시판되는 고위험 제품이나 서비스에 자신들의 이름이나 상표를 사용하고 있거나, ②시판되고 있는 AI 시스템이나 서비스를 실질적으로 변경하여 고위험으로 만들거나, ③범용AI를 포함, 기존 AI시스템의 의도된 목적을 변경하여 고위험으로 만드는 경우에는 해당 사업자는 고위험 모델 개발사업자 (provider)로서의 법적 의무 (제16조)를 부담하게 됩니다.
우리는 '정부 가이드라인'에서 "범용AI모델을 자신의 시스템에 통합하는 등 고영향 AI시스템을 만들어 제공하는 사업자는 기존 AI의 이용목적, 용도, 기능 등을 중대하게 변경한 경우에 해당하므로 고영향 AI 개발사업자의 지위를 갖는다"고 부분적으로 설명하고 있습니다. (1.3.3 참조)
4) 우리 AI기본법은 사업자를 모델 개발사업자와 이용사업자로 나누어 이들을 고영향 규제체계의 적용 대상으로 정하고, 이용사업자는 “AI 개발사업자가 제공하는 AI를 이용하여 AI제품 또는 서비스를 제공하는 자”로 추상적으로 정의하고 있습니다.
실무적으로는 특히 외국의 범용AI모델을 기반으로 특화된 AI 응용 서비스나 제품을 만드는 국내 사업자를 어떻게 분류할 것인지에 대해 해석상 혼란이 발생할 수 있습니다.
이에 대해 '정부 가이드라인'은 이용사업자에 대해 "AI의 주요한 기능에 대한 권한을 가지고 AI제품 또는 서비스를 이용자의 이용에 제공한다"로 설명함으로써 (1.2.3 참조) EU AI법 제3조의 'deployer' 개념 정의 (--"using an AI system under its authority"--)와 유사하게 설명하고 있습니다.
한편, '정부 가이드라인'은 혼선이 많은 '제공'의 의미에 대해 "자신의 사업에 필요한 제품, 서비스의 개발에 활용할 뿐 이용자에게 AI제품이나 서비스를 제공한 것으로 볼 수 없다면" 이용사업자에 해당되지 않는다고 설명합니다. (1.2.3 참조)
2. 고위험 제품과 서비스의 차별적 분리구조
1) '가이드라인 초안'은 EU AI법 제6조제1항과 제2항이 각각 부록 (Annex) 1과 3으로 나누어져서 고위험을 별도로 규제하고 있는 체제에 맞게 각각에 대한 설명을 전개하고 있습니다. 즉 부록 1이 규정하고 있는 제품에 대한 규제는 종전에 존재하고 있는 틀에 AI의 특성이 반영되어 수정된 규제체계안에서 대체로 이루어지게 되지만, AI시스템이 '안전구성요소' (safety component)로 사용되는 경우만 규제됨을 설명하고 있습니다.
EU내 자유로운 제품유통을 촉진하면서 동시에 안전하고 규제를 준수하는 제품들만 유통되게끔 하여야 한다는 목표를 유지하면서도 AI 제품으로 인한 새로운 안전위험 (safety risks)을 예방하고 완화하기 위한 규제체계를 담고자 부록 I을 만들었습니다. 법 제6조제1항은 여기에 "제3자로부터 적합성 평가를 받게 되는" 이라는 추가 조건을 명시함으로써 결과적으로는 고위험에 해당되는 제품 범위를 더욱 한정하고 있습니다.
한편, 의료기기, 교통수단 등 대부분의 제품들은 우리 역시 기존의 관련 법령들이 제품에 대한 사전 적합성 평가를 이미 행하고 있고 현재의 AI기본법도 시행령을 통해 관련 법으로 사업자에 대한 세부 규제를 위임하고 있는 것들도 많이 있습니다만 EU의 '가이드라인 초안'은 부록 I에 열거된 별도의 고위험 규제 체계가 필요한 이유를 AI관련 제품에 대한 불필요한 추가 규제를 피하기 위해서라고 설명하고 있음을 주목하게 됩니다.
즉, 부록 I에 열거된 AI 제품의 EU 규제 관련 법들은 예시적인 것이 아니라 열거적 (exhaustive)목록이며, 따라서 제6조1항에 따른 고위험 규제는 AI때문에 새로운 제품 규제를 추가하려는 것이 아니라 기존의 EU 제품관련 법체계속에서만 이루어짐을 의미하고 있습니다. 더욱이 제6조제1항의 고위험 제품으로 판정 받기 위해 추가적으로 요구되는 '제3자로부터의 적합성 평가' 조건은 그 자체가 이미 건강, 안전, 환경 등과 같은 공공의 이익을 지키기 위한 또 하나의 규제리스트라는 점에서 AI 규제를 위한 새로운 추가 입법은 고려하지 않음을 강조합니다.
이에 반해, 우리는 의료기기, 자동차 등 이미 제품 관련 개별 규제체계속에서 사업자에 대한 세부 규제를 하고 있기 때문에 AI기본법이 사업자를 중복 규제하는 결과가 발생할 수도 있습니다.
2) EU AI법 제3조에 정의된 '안전구성요소' (safety component)는 제6조제1항에 따른 부록 I의 제품의 고위험 판정의 대상일 뿐만 아니라 제2항의 새로운 고위험 부류, 즉 부록III에서도 역시 중요한 판단 대상으로 등장합니다.
예를 들면, 8개로 분류된 부록 III의 새로운 고위험 유형중 ‘중대한 기반구조’ (Critical infrastructure)는 세부 고위험 영역으로 디지털기반구조, 교통, 가스, 전기 등을 열거하고 있지만 AI시스템이 ‘안전구성요소’로 사용되는 경우에만 고위험의 규제대상임을 분명히 하고 있습니다. 이러한 ‘안전구성요소’는 개념상 '안전기능' (safety function)을 수행하는 것은 물론이고 AI 시스템의 고장이나 오작동으로 사람의 건강과 안전, 재산을 위협하는 경우도 포함한 2가지로 나누어 정의하고 있습니다.
즉 전자의 '안전기능'은 철도에서의 속도제한을 감시하고 충돌이나 탈선을 예방하는 AI시스템처럼 개발사업자가 의도했던 사용목적 (intended purpose)을 근거로 정해지는 것이며 개발사업자가 사용설명서, 기술문서 등에서 밝힌 바에 따라 객관적으로 판단하게 됩니다.
반면, 후자의 확대된 '안전구성요소' 개념은 자율주행차의 차선 준수 기능처럼 오작동의 경우 사람의 안전과 재산을 위협하게 되는 사례를 지칭하게 되지만 이런 개념은 개발사업자로 하여금 사전에 기술적으로 통제하게 하는 것이 (법적으로 사전에 규제하는 것이) 어렵다는 문제가 있습니다.
한편, 스마트 홈 기기와 같은 소비재, 가정용 전자제품은 이러한 EU AI법상의 '안전구성요소' 개념을 설명할 때 좋은 사례가 될 수 있습니다. 단순 편의·최적화 기능으로 삽입된 스마트 홈 AI는 통상 안전구성요소로 보기 어렵지만, 화재·가스·전기 차단, 보안, 돌봄 등 사람의 건강·안전 또는 재산 보호와 직접 연결되는 기능이라면 고위험 제품으로 분류될 수도 있습니다.
Ⅱ. 인간의 감독
1. '가이드라인 초안'은 EU AI법 제6조제2항에 따라 부록 III에서 고위험으로 규정하게 된 8개의 영역들에 대해 비록 인간의 통제와 감독 (human-involvement)이 있다고 해서 고위험으로부터 면제되지 않음을 강조합니다.
인간의 감독이라는 요소가 고위험 규제의 출발점인 개발사업자의 '의도된 사용목적'을 바꿀 수 없고, 오히려 AI법 제14조가 고위험 사업자의 책무로 인간의 감독 (oversight)을 규정하고 있음을 상기시키면서 인간의 감독이 고위험 분류의 회피 사유가 될 수는 없다고 명시하고 있습니다. EU AI 법상 고위험 분류의 회피 사유는 법 제6조제3항의 필터링 규정을 통해서만 존재합니다. 즉 EU는 새로운 고위험을 규정하고 있는 부록 III의 8개 영역은 한정적, 열거적(exhaustive)인 것이기 때문에 해당 영역에 해당되면 고위험으로 판정 받게 됩니다.
반면, 우리의 '정부 가이드라인'은 "AI가 사람의 개입 없이 자율적으로 의사결정을 내리는 정도를 평가하여" (2.1.3 참조) "완전자율형, 완전자동화 수질관리시스템은 고영향" (2.2.4 참조), "최종 판단이 아닌 진단 보조도구로만 활용되는" (2.3.4 참조), "사람의 판단 또는 기능 수행에 AI가 보조적인 자료를 제공하는 경우" (2.4.3 참조), "정당한 권한을 가진 사람에 의한 실질적 개입이 없거나" (2.6.3 참조), "레벨3 자율주행시스템에 적용되는 AI시스템으로 운전자가 당연히 인지하고 있어야 하는 사항을 보조하는 수단에 불과" (2.8.4 참조), "AI가 독립적으로 최종 의사결정을 하여" (2.11.4 참조), "HITL이 포함되지 않는 AI의 경우는 고영향" (2.12.3 참조) 등에서 보듯이 고영향의 거의 모든 영역에서 최종적으로 사람의 최종 판단, 감독이 실질적이고 AI출력이 단순한 참고, 보조자료에 그치는지에 여부에 따라 고영향 최종 판단을 하고 있습니다.
2. 이런 차이는 우리 AI기본법상 고영향의 개념 정의와 이에 따른 법적 판단의 구조에서 발생합니다. 즉 우리의 AI기본법은 “사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 인공지능시스템”으로 고영향을 정의한 뒤 10개의 세부 영역을 열거함으로써 고영향의 정의 자체가 영역까지 포함한 실질적이고 최종 판단기준을 제시하는 것으로 오해되기도 하지만 '정부 가이드라인'은 해당 영역에 해당된 사례를 다시 생명·신체 안전·기본권에 대한 중대한 영향 또는 위험이라는 기준을 통해 2단계 판단하도록 하고 있습니다. (1.3.1 참조)
다시 말해, 고영향의 해당 영역에 해당되었다고 해서 고영향으로 최종 판정되는 것이 아니고, "AI의 의도된 목적, 기능, 활용 맥락을 다양한 관점에서 종합적으로 고려하여" 판단하여야 한다고 '정부 가이드라인'은 설명합니다. (1.3.2 참조)
이런 해석을 '맥락에 기반한 규제'라고 '정부 가이드라인'은 우리 AI기본법의 특색 중 하나로 소개합니다 (1-1-1 참조). 즉 AI가 활용되는 개별 영역과 그 안에서의 상호작용의 관계, 즉 맥락에 따라 위험이 달라진다는 점을 전제로 규제를 탄력적으로 적용하게끔 해석하는 것입니다.
법 제33조제1항에 따른 과학기술정보통신부 장관에 의한 고영향 해당 여부 판정 기준 또한 "AI의 활용영역 및 목적, 사람의 생명, 신체의 안전 및 기본권에 초래할 수 있는 위험의 영향, 중대성, 빈도, 사업자의 사전 검토결과 및 전문위원회의 자문결과' 등 다양한 요소를 고려하도록" 하고 있습니다. (1-1-2 참조)
결론적으로 고영향 10개 영역에 해당되는 것은 고영향으로 판정 받기 위한 필요조건일 뿐이며 충분조건까지 충족시키는지에 대해서는 다양한 요소들을 종합적으로 고려하도록 되어 있기 때문에 ‘인간의 판단, 감독의 존재’가 고영향 최종 판단에 결정적 영향을 미칠 수 있고, 실제 '정부 가이드라인'은 에너지, 채용, 대출, 교육, 공공서비스, 범죄수사 등 거의 모든 영역에서 그렇게 설명합니다.
3. 우리 AI기본법의 고영향 판단구조는 AI사용 맥락과 특성 등에 따라 규제가 유연하게 집행될 수 있다는 장점이 될 수도 있지만, EU AI법의 ‘의도된 사용목적’이라는 객관적 판단기준에 비한다면 사전 예측가능성, 투명성이 떨어지는 단점이 될 수도 있습니다.
예를 들면, '정부 가이드라인'은 고영향으로 분류된 금융기관의 대출심사에서 "대출 신청인의 신용 및 상환능력을 평가하여 대출의 승인 여부와 대출 조건을 결정하는데 직접적으로 관련되는 업무에 한한다"로 명시하고 있고 (2.7.2 참조) "AI가 중간 단계에서 최종 결정에 상당한 영향을 미치는 결정을 하거나 대출심사 개별 단계를 종합하여 최종 결정을 하는 경우 고영향으로 보게 되고, 반대로 의사결정 과정에서 그 결과를 단순 참고하는 경우에는 고영향에 해당하지 않는다" (2.7.3 참조)고 예시를 들고 있습니다.
4. '정부 가이드라인'은 자동화 정도가 높고 속도가 빨라 실질적으로 최종 의사결정에 대한 사람의 개입이 불가능한 경우를 고영향성의 판단요소로 제시합니다만 사례별로 사업자가 AI의 사용 맥락은 물론 인간의 통제, 감독의 비중, 중요성을 어떻게, 어떤 단계에서 판단하여 고영향에 따른 규제 준수여부를 결정하여야 하는지 자율적으로 판단하기는 어렵고 법령으로 구체화되어 있지도 않습니다.
따라서 에너지, 먹는 물, 교통, 교육 등 우리의 고영향 영역 상당부분에 사용되어지는 AI기술이 복잡하고 거대한 LLM모델 기반이 아니라 시계열예측, 최적화, 제어중심 모델 등과 같은 기술이기 때문에 자칫 적은 비용으로 관리자가 통제할 수 있는 비상제어장치 (kill switch)를 추가하는 식으로 고영향 규제를 우회하는 것이 가능하다는 오해를 낳을 수 있습니다. 반면, EU의 '가이드라인 초안'은 이 점에 대해 분명히 "개발사업자는 인간의 관리를 추가하는 식으로 AI 시스템을 고위험 분류에서 제외시킬 수 없다"고 명시하고 있습니다.
최근 AI agent의 사이버 역량이 빠르게 고도화되고 있다는 평가를 고려하면, AI 시스템의 의사결정 과정에 인간이 반드시 포함되어, 모든 개별 건에 대해 핵심적인 판단이나 승인을 직접 수행하는 방식을 일컫는 Human-in-the-loop(HITL)의 존재만으로 고영향성 또는 고위험성을 낮게 평가하는 접근은 기술적으로도 한계가 있습니다.
결국 실무적으로는 고영향 영역에 대해 사업자의 거버넌스 구조와 실질적 통제장치가 생명, 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려를 결과 발생이전에 낮출 수 있음을 문서로 준비토록 하는 것이 필수적입니다.
