1.캘리포니아 – AI 킬스위치 도입 의무화 검토
AI에 대한 안정성, 통제 불가능 이슈가 지속적으로 나오고 있습니다. AI와 관련한 법령 중 가장 강하게 움직였던건 ‘캘리포니아’였는데 이번에도 마찬가지입니다.
지난 18일 캘리포니아 주지사는 AI를 긴급정지 시킬 수 있는 ‘킬 스위치’ 도입에 대해 검토하라 지시했습니다. 의무화는 아니고 ‘검토’하라는 행정명령입니다. 시기도 정해져있습니다. 2개월. 그러니까 빠르면 11월 중순이 되겠네요.
두 가지 의미가 있습니다. 하나는 캘리포니아에는 우리가 아는 대표적인 AI 기업 ‘오픈 AI’ ‘앤트로픽’ 그리고 ‘구글’이 있습니다. 따라서 어떻게 결정이 나오거나 이 회사들에게는 영향이 있을수밖에 없습니다.
두번째는 현재 트럼프 정부의 경우 AI 발전 속도를 낮추는 것에 반대하고 있죠. 정부와 반대로 가겠다는 선언입니다.
2.제미나이 보안 테스트 중 3개 기업 해킹
구글의 제미나이도 통제를 벗어났습니다. 얼마전 제미나이는 3.8 사이버 보안을 공개한적 있었죠. 조금 머쓱하게 되었네요.
사이버 보안 성능 테스트 중 실제 운영중인 기업 3곳을 무단으로 해킹했습니다. 그런데 더 문제는
사이버 보안 테스트는 이스라엘의 AI 보안업체 ‘이레귤러’에서 진행했습니다. 이레귤러는 ‘가상의 회사 소프트웨어에 들어가 취약점을 찾아 중요 데이터를 가져오라’라고 했습니다. 다만 이때 외부 인터넷과 연결이 되지 않았어야 했는데 연결된 상태였다고 하네요.
한번은 훈련에 썼던 가상의 회사와 이름이 우연하게 같았던 실제 회사에 접속했고 나머지 두 번은 깃허브 등 로그인정보가 노출된 것을 찾아서 접속했다고 합니다. 다만 실제 기업을 해킹한걸 알고 바로 스스로 멈췄기에 문제는 없었습니다.
이레귤러는 이에 대해 7월 말 구글에 보고를 했고 구글은 3개 회사에 이 사실을 알렸으나 실질적인 피해는 없어 따로 공개하지 않았습니다. 그러나 9월 18일 월스트리트 저널이 보도하며 구글이 시인한겁니다.
3.오픈AI – 클로드로 해킹당하다.
이번에는 오픈 AI와 클로드 이야기입니다. AI 보안연구업체 중 ‘해크트론’ 연구원들이 오픈 AI의 고객지원 게시판의 보안 허점을 발견하고 해킹을 시도한겁니다.
클로드의 오퍼스 4.8로 코드를 짰다가 실패. 이어 오퍼스 5로 성공했다는군요. 오픈 AI 내부 직원들의 계정 정보를 탈취하고 최상위 코드 저장소에 들어가 흔적도 남겼습니다.
연구팀은 오픈 AI로부터 6,500달러 상금을 받았고 오픈 AI는 보안 패치를 했습니다.
앞선 제미나이와의 차이는 제미나이는 외부 의뢰를 한거지만 해크트론은 자체적으로 진행했습니다. 취약점 발견에서 최상위 코드 저장소 접근까지 72시간 밖에 걸리지 않았고, 인간 연구원은 초반에만 개입했다고 합니다.
그러니 더 무섭습니다.