고위험 AI
[High-Risk AI]사람의 건강·안전·기본권 또는 사회의 중요 기능에 중대한 영향을 미칠 가능성이 있어 법령에 따라 강화된 위험관리·투명성·인간 감독 등의 의무가 부과되는 인공지능 시스템을 말한다.
고위험 AI는 단순히 성능이 높거나 최신 기술을 사용한 인공지능을 뜻하지 않는다. AI가 사용되는 분야와 목적, 의사결정에 미치는 영향, 피해의 심각성 등을 기준으로 분류되는 규제 개념이다.
EU AI법은 고위험 AI 시스템을 크게 두 유형으로 구분한다. 첫째는 의료기기·기계·승강기·장난감 등 EU의 제품안전법이 적용되는 제품에 내장되거나 그 제품의 안전 구성요소로 사용되는 AI다. 둘째는 생체인식, 중요 기반시설, 교육, 채용·노무관리, 신용평가와 공공급여, 법 집행, 이민·국경관리, 사법행정 등 개인의 권리와 기회에 큰 영향을 미치는 분야에서 사용되는 독립형 AI다.
고위험 AI 제공자에게는 위험관리시스템 구축, 학습·검증 데이터 관리, 기술문서 작성, 작동기록 보존, 이용자 정보 제공, 인간 감독, 정확성·견고성·사이버보안 확보, 적합성 평가, 등록과 사후시장감시 등의 의무가 부과된다.
고위험 AI는 사용 자체가 금지되는 ‘허용할 수 없는 위험의 AI’와 구별된다. 또한 대규모 연산능력 때문에 광범위한 피해를 일으킬 수 있는 ‘시스템적 위험을 지닌 범용 AI 모델’과도 별개의 분류다. 범용 AI 모델이 고위험 분야의 시스템에 통합되면 고위험 AI 규제가 적용될 수 있지만, 범용 AI라는 이유만으로 곧바로 고위험 AI가 되는 것은 아니다.
EU AI법의 고위험 AI 관련 의무는 원래 2026년부터 단계적으로 적용될 예정이었으나 AI Omnibus로 연기됐다. Annex III의 독립형 고위험 AI 시스템에는 2027년 12월 2일부터, Annex I의 제품 내장형 고위험 AI 시스템에는 2028년 8월 2일부터 적용된다. 유럽연합 집행위원회
참조어: EU AI법, 허용할 수 없는 위험의 AI, 범용 AI(GPAI), 시스템적 위험, AI 중대사고 보고, 적합성 평가, 사후시장감시, 인간 감독
관련어
- 참조어범용 인공지능, EU AI 법안, AI 중대사고 보고