이미 현실화되고 있는 AI의 실존위협
https://youtu.be/INGOC6-LLv0
제가 예전에 Mythos의 사이버 리스크에 대해 언급했던 내용은 틀렸거나, 최소한 의사소통에 오해가 있었던 것 같습니다. 제 (비전문가로서 확신은 좀 부족한) 현재 견해는 다음과 같습니다.
- 만약 Mythos가 2월에(혹은 당장 내일이라도) open-weight 모델로 배포된다면, 수천억 달러 규모의 피해가 발생할 것이며 (피해액 추산 방식에 따라) 1조 달러 규모의 피해가 발생할 가능성도 다분합니다.
- 만약 앤트로픽이 몇 주간 사력을 다해 어떻게든 마련한 사이버 안전장치(아마 지나치게 방어적으로 작동할)를 씌워서 3월 초에 API 형태로 대중에 공개했다면, 수백억 달러 수준의 피해가 발생했을 겁니다. 평범한 미국 시민들의 일상에 엄청난 혼란까지 초래하진 않았겠지만, 이 부분은 제 확신이 부족하네요.
- 방어자들이 최고 수준의 비상체제에 돌입한다면 취약점 패치 속도는 훨씬 빠를(그리고 빨라야 할) 것입니다. 물론 그렇다고 해서 이런 사태를 유발해도 괜찮다는 뜻은 결코 아니며, 현실적으로는 여전히 수많은 시스템이 패치되지 않은 채 방치될 것입니다.
- 실력이 뛰어난 해커들은 어설픈 안전장치쯤은 우회할 수 있겠지만, 이들 실력자들이 대규모 사이버 '물리적/경제적 피해'를 직접적으로 일으키는 경우는 드물 겁니다. 물론 미국의 국가 안보를 심각하게 위협할 수는 있겠지만요 (이는 매우 치명적일 수 있습니다). 다만 이 의견은 국가 주도 사이버 공격 프로그램들의 병목 현상이 어디에 있는지에 대한 제 개인적이고 불확실한 추측에 기반한 것입니다.
- @tenobrus 님의 원문 트윗에 대한 답변: 저는 설령 이 모델이 글자 그대로 오픈 웨이트 형태로 배포된다 하더라도, "며칠 만에 거대한 경제적, 사회적 붕괴"를 일으킬 것이라고는 생각하지 않습니다.
제가 사이버 보안 전문가가 아니기 때문에 제 의견을 얼마나 비중 있게 받아들이실지는 모르겠지만, 그럼에도 제 입장을 정정하고 정리해 두는 것이 맞다고 생각했습니다.
대충 분위기 보니까 역대급 벤치점수 찍은 미토스ai가 일으킬 사회적 파장을 고려해서 릴리즈 미뤄지고 있는중인거 같음.