OpenAI LLM 발전 방향 - 기업별 발전 방향(1)

이 글은 2024년 10월 20일에 쓰여졌습니다. 영어 버전도 보실 수 있습니다.

왜 LLM인가?

많은 사람들이 생성형 AI에 주목하지만 그 핵심에는 LLM(Large Language Model)이 있습니다. 왜냐하면 LLM이 사람과 비슷하게, 어쩌면 사람을 능가하는 새로운 지능이기 때문입니다. OpenAI의 CEO 샘 알트만은 자신의 블로그에서 이런 시대적 변화를 지능 시대(The Intelligence Age)라 지칭하였습니다.¹ 새로운 시대 중심에 LLM이 있다고 해도 과언이 아닙니다. 이번 글에서는 OpenAI의 LLM 발전 방향을 알아보겠습니다. 다른 기업들에 대해서는 추후 포스팅을 올리겠습니다. LLM Foundation Model을 개발하는 회사는 무척 많지만 대표적인 OpenAI(GPT-4), Meta(LLaMA), Antrophic(Claude)를 알아보겠습니다. 대한민국 회사 중에서는 Naver(HyperClova), SKT, KT에 대해서 알아보겠습니다.

OpenAI : 새로운 지능, 실용적인 AI

OpenAI는 ChatGPT 서비스를 출시하여 생성형 AI 붐을 이끌었습니다. 나아가 지금도 LLM 발전을 견인하고 있습니다. 솔직히 ChatGPT를 출시한 2022년 11월 이후로 OpenAI의 기술력 발전은 경이로운 수준입니다.

• 2022년 11월 30일 GPT-3.5 기반 ChatGPT 서비스 출시
• 2023년 3월 14일 GPT-4 출시.
• 2024년 5월 13일 GPT-4o 출시.
• 2024년 6월 18일 GPT-4o mini 출시.
• 2024년 9월 12일 GPT-o1 mini, preview 출시.

지금의 OpenAI는 두 가지 방향성을 가지고 AI를 만들고 있는 것 같습니다. (1) 인간을 넘어설 새로운 지능 (2) 이러한 지능의 실용화. 다만 OpenAI의 경우 그 방향이 (3) 지능 자체에 좀 더 초점이 가 있는 느낌입니다.

인간을 넘어설 새로운 지능

OpenAI는 미션에서부터 AGI가 등장합니다. OpenAI의 미션은 AGI가 모든 사람에게 이득을 주기를 보장하는 것입니다. (Our Mission is to ensure that artificial general intelligence benefits all of humanity) ² 마치 AGI가 이미 있는 것처럼 얘기하죠? 정말로 AGI를 개발하는 것을 목표로 삼고 있기 때문인데요. OpenAI는 2023년 2월 AGI와 그 너머에 대한 계획이라는 글을 올린 적이 있습니다.³ 이 글에서 OpenAI는 “우리는 ChatGPT 같은 서비스를 출시하면서 사람의 가치에 부합하고, 조종 가능한 모델을 만드는 데에 나아가고 있다.”고 밝혔습니다. GPT가 목적지로 가는데 있는 중간 지점에 불과하다 것을 알 수 있습니다.

AGI는 범용 인공지능입니다. 기존의 인공지능이 특정 분야(바둑, 개 고양이 구별)만을 했다면 범용 인공지능은 인간처럼 다양한 분야에 대해서 포괄적인 추론을 내릴 수 있습니다. 아이언맨의 나오는 인공지능 비서 자비스처럼요. 몇 년 전에는 이러한 AGI가 멀었다는 관측이 많았습니다. 하지만 지금은 아무도 근 미래에 AGI가 나올 것이라는 것에 대해 의심하지 않습니다.

AGI를 만들기 위한 중간 지점들인만큼 GPT는 버전이 올라갈 때 마다 놀라운 추론 능력의 향상을 보여주고 있습니다. ⁴ 가장 최근 모델인 o1과 4o만 비교해봐도 놀라운 차이가 납니다. 예전에는 이런 LLM을 평가하는 데 쓰이는 Benchmark 지표를 만들고는 했습니다만 이제는 그냥 사람이 푸는 문제로 모델 성능을 측정하는 것도 참 놀랍습니다. PhD-Level Science Question에서는 사람보다도 잘하는 걸 볼 수 있습니다.

실용적인 AI

또다른 방향성이 실용성에 있는 이유는 명확합니다. 더 빨라지고, 더 저렴해지고 있습니다. 더 빨라져야 실시간으로 추론할 수 있습니다. 더 저렴해져야 더 많은 분야에서 쓸 수 있습니다. 실생활에 사용하기 위한 필수적인 조건입니다.

GPT-o1 mini API 요청 비용은 GPT-4에 비해 10배가 싸졌습니다. GPT-4에 비해 월등하게 좋은 추론 능력을 보이는데도요. GPT-4o는 GPT-4에 비해 속도가 두 배 빨라졌습니다. GPT-o1은 추론 능력 강화로 속도가 느려졌습니다. 그렇지만 OpenAI는 새로운 모델을 내놓을 때 mini 버전도 내놓으면서 성능은 비슷하지만 속도는 훨씬 빠른 모델로 실용성도 고려하고 있음을 보여줍니다.

AGI에만 초점을 맞추고 있는 OpenAI

OpenAI는 AGI를 만들기 위한 여정에만 집중하는 것처럼 보입니다. 상업적으로 이용하기 위한 고민은 별로 안 하는 것처럼 보인다는 뜻입니다. OpenAI는 지금도 어마어마한 적자를 기록하고 있습니다. 2024년에는 50억달러 적자가 예상되고, 2026년에는 140억 달러 적자가 예상됩니다. 샘 알트만은 OpenAI의 적자에 대해 “신경 쓰지 않는다. 우리가 사회에 그보다 훨씬 더 많은 가치를 창출하는 궤도에 머무르는 한, 그리가 우리고 AGI를 개발할 방법을 알아낼 수 있는 한, 그것은 충분한 가치가 있다”고 말했습니다.⁵

그렇지만 OpenAI의 앞날이 비관적으로 보이지는 않습니다. 경쟁사에 비해 압도적으로 훌륭한 지능을 만들면서 AGI에 누구보다 가까이 있으니까요. 실제로 OpenAI는 24년 10월 2일 66억 달러 투자 유치에 성공했습니다.⁶ Microsoft, Nvidia, Softbank 같은 회사들이 OpenAI에 거액의 돈을 투자했습니다. 무엇보다도 OpenAI는 24년 6월 10일 콧대 높은 Apple과도 파트너십을 맺었습니다.⁷ 무려 iOS에 ChatGPT를 포함시키기로 하는 파트너십이죠. 저는 애플이 단기간에 ChatGPT와 같은 지능을 만들어낼 수 없다는 것을 인정했다고 생각합니다. 내년 쯤에 iOS에 탑재된다고 하는데 기대가 됩니다.

물론 문제도 있습니다. AGI를 만들기 위해 돈이 엄청나게 많이 필요할 겁니다. 제 생각에는 이것 때문인 것 같은데, 24년 9월 27일 OpenAI는 영리 기업으로의 전환 계획을 발표했습니다.⁸ OpenAI는 원래 비영리 기관이었습니다만 비영리 기관 아래에 영리 회사를 두고 비영리 기관은 영리 회사의 지분을 가지는 형태로 운영될 듯 합니다. 영리 회사로 전환해서라고 확신할 순 없지만 CTO인 미라 무라티를 비롯한 기술 담당자들이 퇴사했습니다.⁹

OpenAI는 AGI를 만들 수 있을까요? 이 AGI는 인류의 번영에 기여할 수 있을까요? 두고봐야겠습니다만 영리 기업으로 전환하는 순간부터… 힘들지 않을까 싶습니다.

---