몇 달 전 샌프란시스코에서 AI 임원을 만나던 중 그의 노트북에서 이상한 스티커를 발견했다. 스티커에는 눈이 많고 촉수 중 하나에 노란색 웃는 얼굴이 붙어 있는 위협적인 문어 같은 생물의 만화가 그려져 있습니다. 나는 그것이 무엇인지 물었다.
“오, 저건 쇼고스야.” 그가 설명했다. “AI에서 가장 중요한 밈입니다”
그것으로 우리의 의제는 공식적으로 탈선했습니다. 챗봇과 컴퓨팅 클러스터는 잊어버리세요. 저는 Shoggoth에 대한 모든 것, 그것이 의미하는 바, AI 세계의 사람들이 그것에 대해 이야기하는 이유를 알아야 했습니다.
경영진은 Shoggoth가 대규모 언어 모델(ChatGPT 및 기타 챗봇을 지원하는 AI 시스템의 유형)이 실제로 어떻게 작동하는지에 대한 생생한 시각적 은유로서 인공 지능 분야 종사자들 사이에서 인기 있는 참고 자료가 되었다고 설명했습니다.
그러나 그것은 부분적으로 농담일 뿐이라고 그는 말했습니다. 왜냐하면 그것은 또한 많은 연구자와 엔지니어들이 그들이 만들고 있는 도구에 대해 가지고 있는 불안을 암시하기 때문입니다.
그 이후로 Shoggoth는 입소문이 났거나 하이퍼 온라인 AI 내부자의 작은 세계에 들어갈 수 있는 만큼 입소문이 났습니다. AI Twitter에서 인기 있는 밈입니다( 삭제된 트윗 Elon Musk), AI 위험에 대한 에세이 및 게시판 게시물에서 반복되는 은유 및 AI 안전 전문가와의 대화에서 약간의 유용한 속기. 하나의 AI 스타트업 NovelAI, 그것은 최근에 이름을 말했다 밈에 경의를 표하는 “Shoggy” 컴퓨터 클러스터. 또 다른 AI 회사인 Scale AI는 Shoggoth를 특징으로 하는 토트백 라인을 디자인했습니다.
Shoggoths는 SF 작가 HP Lovecraft가 1936년 소설 “At the Mountains of Madness”에서 소개한 허구의 생물입니다. Lovecraft의 이야기에서 Shoggoths는 촉수와 눈으로 덮인 무지개 빛깔의 검은 점액으로 만들어진 거대하고 얼룩 모양의 괴물이었습니다.
Shoggoths는 ChatGPT가 출시된 지 한 달 후인 12월에 AI 세계에 상륙했습니다. Twitter 사용자 @TetraspaceWest는 GPT-3(ChatGPT의 전신인 OpenAI 언어 모델)에 대한 트윗에 두 개의 손으로 그린 Shoggoths 이미지로 답장했습니다. “GPT-3″로 레이블이 지정되고 두 번째 레이블은 “GPT-3 + RLHF”로 레이블이 지정됩니다. 두 번째 Shoggoth는 촉수 중 하나에 웃는 얼굴 마스크를 얹었습니다.
간단히 말해서 AI 언어 모델이 무섭고 위험한 방식으로 행동하는 것을 방지하기 위해 AI 회사는 예의 바르고 무해하게 행동하도록 교육해야 한다는 농담이었습니다. 이를 수행하는 한 가지 인기 있는 방법은 “인간 피드백으로부터의 강화 학습” 또는 RLHF라고 하는 것으로, 인간에게 챗봇 응답에 점수를 매기도록 요청하고 해당 점수를 다시 AI 모델에 제공하는 프로세스입니다.
대부분의 AI 연구원은 RLHF를 사용하여 훈련된 모델이 그렇지 않은 모델보다 더 잘 작동한다는 데 동의합니다. 그러나 일부에서는 이러한 방식으로 언어 모델을 미세 조정해도 기본 모델이 덜 이상하고 이해하기 어려워지지 않는다고 주장합니다. 그들의 관점에서 그것은 아래에 있는 신비한 짐승을 가리는 허술하고 친근한 가면일 뿐입니다.
밈의 제작자인 @TetraspaceWest는 트위터 메시지에서 Shoggoth는 “인간이 이해하지 못하는 방식으로 생각하는 것을 나타내며 인간이 생각하는 방식과 완전히 다르다”고 말했습니다.
@TetraspaceWest는 AI 언어 모델을 Shoggoth와 비교하는 것이 반드시 그것이 사악하거나 지각이 있다는 것을 암시하는 것이 아니라 그 진정한 본질을 알 수 없을 수도 있다는 것을 의미한다고 말했습니다.
“나는 또한 러브크래프트의 가장 강력한 독립체가 인간을 좋아하지 않기 때문이 아니라 무관심하고 그들의 우선순위가 우리에게 완전히 낯설고 인간과 관련되지 않기 때문에 얼마나 위험한지에 대해서도 생각했습니다. 가능한 미래의 강력한 AI에 대해 진실하십시오.”
Shoggoth 이미지는 AI 챗봇이 인기를 얻고 사용자가 그들 중 일부가 제작자가 의도하지 않은 이상하고 설명할 수 없는 일을 하고 있음을 알아채기 시작하면서 인기를 끌었습니다. 2월에는 언제 빙의 챗봇이 풀렸다 결혼 생활을 깨려고 했고, 내가 아는 AI 연구원은 “Shoggoth를 엿본 것”을 축하해주었습니다. 동료 AI 기자는 Bing을 미세 조정할 때 Microsoft가 웃는 얼굴 마스크를 쓰는 것을 잊었다고 농담했습니다.
결국 AI 애호가들은 은유를 확장했습니다. 2월에 Twitter 사용자 @anthrupad는 버전 “RLHF”라고 표시된 웃는 얼굴 외에도 “감독된 미세 조정”이라고 표시된 더 인간적인 얼굴이 있는 Shoggoth의 사진입니다. (농담을 이해하려면 사실상 컴퓨터 과학 학위가 필요하지만 일반적인 AI 언어 모델과 챗봇과 같은 보다 전문화된 애플리케이션 간의 차이에 대한 리프입니다.)
오늘날 AI 커뮤니티에서 Shoggoth에 대한 언급을 듣는다면 이러한 시스템의 기이함, 즉 프로세스의 블랙박스 특성, 인간의 논리를 무시하는 것처럼 보이는 방식에 대해 윙크하는 것일 수 있습니다. 또는 의심스러울 정도로 멋져 보이는 강력한 AI 시스템에 대한 농담 속 시각적 속기일 수도 있습니다. Shoggoth에 대해 이야기하는 AI 안전 연구원이라면 AI 시스템이 진정한 Shoggoth와 같은 특성을 표시하지 못하도록 하는 데 열정적일 수 있습니다.
어쨌든 Shoggoth는 AI 세계에 대한 가장 기괴한 사실 중 하나를 요약하는 강력한 은유입니다. 즉, 이 기술을 연구하는 많은 사람들이 자신의 창조물에 다소 혼란스러워한다는 것입니다. 그들은 AI 언어 모델의 내부 작동, 새로운 기능을 얻는 방법 또는 때때로 예측할 수 없는 동작을 하는 이유를 완전히 이해하지 못합니다. 그들은 AI가 세상에 순익이 될지 순악이 될지 완전히 확신하지 못합니다. 그리고 그들 중 일부는 공개 소비를 위해 아직 정화되지 않은 이 기술의 버전을 가지고 놀게 되었습니다.
일부 AI 내부자가 자신의 창작물을 농담으로라도 Lovecraftian 공포라고 부르는 것은 역사적 기준에서 이례적인 일입니다. (이렇게 표현하자면: 15년 전 Mark Zuckerberg는 Facebook을 Cthulhu와 비교하지 않았습니다.)
그리고 그것은 오늘날 AI에서 일어나고 있는 일이 일부 참여자들에게 마치 소환 행위 소프트웨어 개발 프로세스보다 그들은 얼룩덜룩한 외계인 Shoggoths를 만들고 더 크고 강력하게 만들고 무서운 부분을 덮기에 충분한 웃는 얼굴이 있기를 바랍니다.
