“AI가 인류를 위협할 수 있다면, 누가 그 브레이크를 잡을 것인가?”

이 질문이 이제 단순한 철학적 고민을 넘어, 실질적인 법과 제도로 옮겨가고 있다. 지난주 캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 미국 최초의 포괄적 AI 안전 법안에 서명했다. 실리콘밸리라는 세계 최대 기술 혁신의 심장에서, 정부가 직접 ‘AI 안전 규제’라는 칼을 빼든 것이다.

왜 캘리포니아가 먼저 움직였나

AI는 이미 금융, 의료, 교육, 국방 등 사회 전반에 침투했다. 그러나 폭발적인 성장 뒤에는 언제나 그림자가 존재한다. 가짜 뉴스, 개인정보 유출, 자동화로 인한 대량 실직, 그리고 통제 불가능한 자율 AI까지 AI가 던지는 위험은 단순한 추측이 아니라, 현재 진행형 문제다.

연방정부가 아직 ‘AI 규제 로드맵’을 마련하지 못하는 사이에 캘리포니아는 주 단위에서 역사적인 결정을 내렸다. 이는 단순히 지역적 사건이 아니라, 글로벌 AI 경쟁의 규칙을 바꾸는 도화선이 될 가능성이 크다.

법안의 핵심 내용

새 법은 대규모 AI 모델을 개발·운영하는 기업들을 직접 겨냥한다. 주요 내용은 다음과 같다:

• -위험 평가 보고 의무: AI 시스템이 사회·경제·안보에 미칠 잠재적 위험을 사전에 검토해 보고해야 한다.
• -AI 안전 테스트: 특정 임계치를 넘는 모델은 독립 기관의 검증을 거쳐야 한다.
• -투명성 강화: 기업은 AI의 학습 데이터와 작동 원리에 대한 기본 정보를 공개해야 한다.
• -책임 소재 명확화: AI로 인한 피해가 발생했을 경우, 기업이 일정 부분 법적 책임을 진다.

이는 기존의 ‘자율 규제(Self-regulation)’에서 ‘법적 규제(Legal regulation)’로 패러다임이 전환되는 순간이다.

업계의 반응: “혁신을 죽일 것인가, 지킬 것인가”

실리콘밸리의 빅테크 기업들은 즉각 반발하고 있다. 한 AI 스타트업 CEO는 AP통신과의 인터뷰에서 이렇게 말했다.

“캘리포니아가 이 속도로 규제를 가한다면, 우리는 혁신보다 규제 대응에 더 많은 자원을 써야 할 것이다.”

반면, 시민단체와 일부 학계는 환영의 뜻을 밝혔다. 스탠퍼드대 AI 윤리 연구소의 한 교수는 이렇게 말한다.

“규제는 늦을수록 비용이 커진다. 지금 조치를 취하지 않으면, 미래에는 걷잡을 수 없는 상황에 직면할 것이다.”

글로벌 파급 효과

이번 법안은 단순히 미국 내 문제가 아니다. 유럽연합(EU)은 이미 AI Act를 추진 중이고, 중국 역시 국가 차원의 강력한 AI 관리 체계를 갖추고 있다. 캘리포니아의 법 제정은 미국이 이 경쟁에서 더 이상 늦출 수 없다는 신호로 해석된다.

특히 캘리포니아는 구글, 메타, 오픈AI, 엔비디아 등 세계적인 AI 기업 본사가 모여 있는 곳이다. 따라서 이번 법안은 사실상 글로벌 AI 규제 표준의 시작점이 될 가능성이 크다.

캘리포니아의 선택은 단순한 지역적 법률이 아니다. 이것은 AI가 인간 사회에서 어떤 위치를 차지할 것인가라는 근본적 질문을 던진다. 우리는 AI를 무조건 신뢰할 수 있을까? 혹은 지나친 규제가 우리의 혁신을 가로막게 될까?

미래는 아마 그 중간 어딘가에 있을 것이다. 하지만 분명한 것은, 오늘의 선택이 내일의 사회 구조를 결정한다는 점이다.