OpenAI LLM 발전 방향 - 기업별 발전 방향(1)

이 글은 2024년 10월 20일에 쓰여졌습니다. 영어 버전도 보실 수 있습니다.

왜 LLM인가?

많은 사람들이 생성형 AI에 주목하지만 그 핵심에는 LLM(Large Language Model)이 있습니다. 왜냐하면 LLM이 사람과 비슷하게, 어쩌면 사람을 능가하는 새로운 지능이기 때문입니다. OpenAI의 CEO 샘 알트만은 자신의 블로그에서 이런 시대적 변화를 지능 시대(The Intelligence Age)라 지칭하였습니다.¹ 새로운 시대 중심에 LLM이 있다고 해도 과언이 아닙니다. 이번 글에서는 OpenAI의 LLM 발전 방향을 알아보겠습니다. 다른 기업들에 대해서는 추후 포스팅을 올리겠습니다. LLM Foundation Model을 개발하는 회사는 무척 많지만 대표적인 OpenAI(GPT-4), Meta(LLaMA), Antrophic(Claude)를 알아보겠습니다. 대한민국 회사 중에서는 Naver(HyperClova), SKT, KT에 대해서 알아보겠습니다.

OpenAI : 새로운 지능, 실용적인 AI

OpenAI는 ChatGPT 서비스를 출시하여 생성형 AI 붐을 이끌었습니다. 나아가 지금도 LLM 발전을 견인하고 있습니다. 솔직히 ChatGPT를 출시한 2022년 11월 이후로 OpenAI의 기술력 발전은 경이로운 수준입니다.

• 2022년 11월 30일 GPT-3.5 기반 ChatGPT 서비스 출시
• 2023년 3월 14일 GPT-4 출시.
• 2024년 5월 13일 GPT-4o 출시.
• 2024년 6월 18일 GPT-4o mini 출시.
• 2024년 9월 12일 GPT-o1 mini, preview 출시.

지금의 OpenAI는 두 가지 방향성을 가지고 AI를 만들고 있는 것 같습니다. (1) 인간을 넘어설 새로운 지능 (2) 이러한 지능의 실용화. 다만 OpenAI의 경우 그 방향이 (3) 지능 자체에 좀 더 초점이 가 있는 느낌입니다.

인간을 넘어설 새로운 지능

OpenAI는 미션에서부터 AGI가 등장합니다. OpenAI의 미션은 AGI가 모든 사람에게 이득을 주기를 보장하는 것입니다. (Our Mission is to ensure that artificial general intelligence benefits all of humanity) ² 마치 AGI가 이미 있는 것처럼 얘기하죠? 정말로 AGI를 개발하는 것을 목표로 삼고 있기 때문인데요. OpenAI는 2023년 2월 AGI와 그 너머에 대한 계획이라는 글을 올린 적이 있습니다.³ 이 글에서 OpenAI는 “우리는 ChatGPT 같은 서비스를 출시하면서 사람의 가치에 부합하고, 조종 가능한 모델을 만드는 데에 나아가고 있다.”고 밝혔습니다. GPT가 목적지로 가는데 있는 중간 지점에 불과하다 것을 알 수 있습니다.

AGI는 범용 인공지능입니다. 기존의 인공지능이 특정 분야(바둑, 개 고양이 구별)만을 했다면 범용 인공지능은 인간처럼 다양한 분야에 대해서 포괄적인 추론을 내릴 수 있습니다. 아이언맨의 나오는 인공지능 비서 자비스처럼요. 몇 년 전에는 이러한 AGI가 멀었다는 관측이 많았습니다. 하지만 지금은 아무도 근 미래에 AGI가 나올 것이라는 것에 대해 의심하지 않습니다.

AGI를 만들기 위한 중간 지점들인만큼 GPT는 버전이 올라갈 때 마다 놀라운 추론 능력의 향상을 보여주고 있습니다. ⁴ 가장 최근 모델인 o1과 4o만 비교해봐도 놀라운 차이가 납니다. 예전에는 이런 LLM을 평가하는 데 쓰이는 Benchmark 지표를 만들고는 했습니다만 이제는 그냥 사람이 푸는 문제로 모델 성능을 측정하는 것도 참 놀랍습니다. PhD-Level Science Question에서는 사람보다도 잘하는 걸 볼 수 있습니다.