2022년 말 챗GPT가 공개된 뒤, 인공지능(AI)은 불과 3년 만에 산업과 일상 전반으로 빠르게 확산됐다. 하지만 AI 업계 내부에서 실제로 벌어지고 있는 변화는 아직 널리 알려지지 않았다. 더 큰 모델을 더 많은 데이터로 학습시키면 더 똑똑해진다는, 이른바 ‘스케일링 법칙*‘ 중심의 AI 발전 방식이 흔들리고 있기 때문이다.

이제 AI 경쟁의 초점은 ‘얼마나 많이 배웠는가’에서 ‘얼마나 잘 추론하는가’, 나아가 ‘얼마나 스스로 행동할 수 있는가’로 옮겨가고 있다. AI는 학습(Training) 중심에서 추론(Reasoning) 중심으로, 답변하는 도구에서 행동하는 시스템으로 바뀌고 있다. 이 전환은 모델 개발 방식을 넘어, AI를 떠받치는 반도체와 메모리 산업에도 새로운 과제를 던진다.

이번 「AI Ecosystem」 시리즈의 1편에서는 이 변화의 본질을 짚어본다.

챗GPT의 성공 요인은 세 가지다. 대규모 학습이 가능한 신경망 구조인 ‘트랜스포머*‘, 더 많은 데이터와 더 큰 모델일수록 성능이 향상된다는 ‘사전학습 스케일링 법칙’, 그리고 인간의 의도에 맞게 답변하도록 모델을 조정하는 ‘사후학습*‘이다. 메타(Meta)가 라마(Llama) 3 학습에 약 3천만 GPU 시간을 투입했다는 사례만 봐도, 이 전략이 얼마나 막대한 연산 자원을 필요로 하는지를 알 수 있다.

이 공식은 단순했지만 강력했다. 그 덕분에 챗지피티, 클로드(Claude), 제미나이(Gemini) 같은 거대 모델이 잇따라 등장했다. 그러나 2024년 이후 두 가지 한계가 뚜렷해졌다.

첫째, 데이터 고갈이다. 챗지피티의 아버지로 불리는 일리야 수츠케버(Ilya Sutskever)는 2024년 AI · 머신러닝 분야의 대표적인 국제 학회인 NeurIPS의 Test-of-Time Award* 수상 강연에서 “우리가 알던 사전학습은 끝날 것”이라고 말했다. 연산 자원은 더 좋은 하드웨어, 더 나은 알고리즘, 더 큰 클러스터로 늘릴 수 있지만, 학습에 쓸 데이터는 같은 방식으로 늘릴 수 없다는 지적이다. 그는 인터넷 텍스트를 ‘AI의 화석 연료’에 비유했다. 실제로 학계에서는 2028년경 인터넷에서 추출 가능한 텍스트 데이터의 총량과 모델 학습에 쓰인 데이터의 양이 비슷해질 것으로 전망한다.

둘째, 비용 대비 효율의 문제다. 단순히 모델을 두 배 키운다고 해서 성능이 두 배 좋아지는 것은 아니다. 손실은 모델 크기 · 데이터 · 연산량의 거듭제곱에 반비례해 천천히 줄어들 뿐이다. 같은 비용으로 더 큰 효과를 낼 수 있다면 막대한 비용이 드는 사전학습에만 자원을 쏟아부을 이유가 없다.

이 두 한계가 맞물리면서 AI 업계는 다른 길을 찾기 시작했다. 데이터와 모델 규모를 계속 키우기보다, 모델이 답을 만들어내는 순간, 즉 ‘추론(Reasoning)’ 단계에 더 많은 연산 자원을 쓰자는 접근이다.

이는 AI의 발전이 멈췄다는 말이 아니다. 발전 방식이 달라지고 있다는 의미다. 과거에는 더 큰 모델을 더 오래 학습시키는 것이 성능을 높이는 가장 확실한 방법이었다. 그러나 이제는 모델이 이미 학습한 지식을 실제 사용 과정에서 얼마나 정교하게 활용하고 극대화하느냐가 중요해지고 있다.

같은 모델이라도 질문을 어떻게 나누는지, 중간 추론을 얼마나 정교하게 거치는지, 필요할 때 외부 도구를 어떻게 활용하는지에 따라 결과가 달라진다. AI 경쟁이 학습 단계에서 사용 단계로 옮겨가고 있는 셈이다.

엔비디아의 젠슨 황 CEO는 최근 발표에서 ‘하나에서 셋으로(From One to Three)’라는 표현을 자주 쓴다. 예전에는 AI 성능을 좌우하던 스케일링 법칙을 주로 사전학습 하나로 설명했다. 이제는 사후학습과 추론 시점(Test-time)까지 세 축이 함께 작동한다는 의미다.

핵심은 추론 시점의 연산이다. 사람이 어려운 수학 문제를 풀 때 바로 답을 말하지 않고 머릿속으로 단계를 밟아가며 천천히 생각하듯, AI도 답을 생성하기 전에 더 길고 정교한 추론 과정을 거치면 성능이 크게 향상될 수 있다. 이를 가능하게 한 대표적인 기법이 사고의 사슬(Chain-of-Thought, 이하 CoT)*이다.

이러한 흐름 속에서 등장한 대표적인 추론 중심 모델로는 OpenAI의 o1 · o3 시리즈와 딥시크-R1(DeepSeek-R1)이 있다. 이 가운데 o1은 추론 시점의 연산이 성능을 얼마나 바꿀 수 있는지 잘 보여준다. 수학 경시대회 수준의 고난도 문제인 AIME* 2024에서 범용 멀티모달 모델인 GPT-4o는 13.4점을 기록한 반면, o1은 83.3점을 기록했다. 박사 수준의 과학 문제를 다루는 GPQA Diamond*에서도 o1은 인간 전문가 평균 정확도인 69.7%를 넘어 78%를 기록했다. 이는 모델이 답을 내는 과정, 즉 추론 단계에 더 많은 연산을 배분하면 결과가 크게 달라질 수 있음을 보여준다.

특히 주목할 만한 사례는 2025년 9월, 중국 스타트업 딥시크(DeepSeek)의 R1 연구가 학술지 「네이처(Nature)」 표지 논문으로 소개된 일이다. 기존에는 고급 추론 능력을 학습시키려면 값비싼 지도학습(Supervised Fine-Tuning) 데이터를 대량으로 만들어야 한다는 인식이 강했다. 그러나 딥시크 연구진은 강화학습(Reinforcement Learning)만으로도 모델이 스스로 사고의 사슬을 형성하도록 유도할 수 있음을 입증했다. 이는 고급 추론 능력이 일부 거대 기술 기업만의 전유물이 아니라는 점을 드러냈다.

▲ 이미지 출처 : Cover of Nature, Vol. 645, Issue 8081 (18 September 2025).

이 흐름은 AI가 연산을 수행하는 방식까지 바꾼다. 기존 LLM은 대체로 짧은 답변을 빠르게 생성하는 데 초점에 맞춰져 있었다. 반면 추론 모델은 한 번의 질문에 답하기까지 수백, 수천 개의 토큰에 해당하는 ‘내부 추론 과정’을 거친다. 실제 측정 결과, 일반 모델이 평균 7~12개의 토큰으로 답하는 단순 산수 문제에 대해, o1 · R1 같은 추론 모델은 답을 내기까지 900개 이상의 토큰을 사용한다. 같은 GPU가 처리해야 할 출력 토큰 수가 100배 가까이 늘어나는 셈이다. 이제 추론은 단순한 실행 단계가 아니라 AI 서비스의 주요 연산 부담으로 떠오르고 있다.

AI 서비스의 비용 구조도 달라진다. 사전학습은 막대한 비용이 한 번에 들어간다. 반면 추론 비용은 사용자가 질문할 때마다 반복해서 발생한다. AI가 더 오래 추론하고, 더 많은 중간 단계를 거쳐 답을 만들수록 서비스 운영에 필요한 연산량과 인프라 부담도 계속 증가한다. 다시 말해 추론 중심 AI의 확산은 단순히 더 똑똑한 모델이 등장했다는 뜻이 아니다. AI 서비스를 운영하는 비용, 응답 시간, 사용자 경험, 인프라 설계 방식까지 함께 바꾸는 전환이다.

추론 능력이 향상되면서 AI를 활용하는 방식도 달라지고 있다. 그 중심에 ‘에이전틱 AI’가 있다. 에이전틱 AI는 사용자의 질문에 한 번 답하고 끝나는 대화형 모델이 아니다. 목표를 받으면 스스로 계획을 세우고, 필요한 도구를 호출하며, 결과를 확인해 작업을 끝까지 수행하는 자율형 AI다.

간단한 예로 “오늘 저녁 광화문 근처에서 두 명이 갈 한식당을 예약해 줘”라는 지시를 생각해 보자. 에이전틱 AI는 이 요청을 ‘맛집 검색 → 후보 비교 → 영업시간 확인 → 예약 가능 시간 조회 → 사용자 선호 반영 → 예약 실행 → 캘린더 등록’ 같은 여러 하위 작업으로 나눈다. 그리고 각 단계에서 검색 엔진, 지도, 예약 API(Application Programming Interface), 캘린더 같은 외부 도구를 필요에 따라 호출한다. 사람이 직접 검색하고 비교하고 입력하던 업무의 상당 부분을 AI가 대신 처리하는 셈이다.

챗봇과 에이전틱 AI의 차이도 여기서 드러난다. 챗봇이 사용자의 질문에 반응하는 데 초점을 맞췄다면, 에이전틱 AI는 목표를 완수하는 쪽에 가깝다. 사용자가 모든 절차를 일일이 지시하지 않아도, AI가 과업을 세분화하고 순서를 정하며, 필요한 정보를 찾고, 중간 결과를 검토한 뒤 다음 행동을 선택한다. 이 과정에서 AI는 단순한 언어 모델을 넘어 검색, 코드 실행, 데이터베이스, 업무용 소프트웨어, 로봇 제어 시스템과 연결된다. 에이전틱 AI가 주목받는 이유도 여기에 있다. AI가 단순한 응답 도구를 넘어 디지털 업무 수행의 주체로 들어오고 있기 때문이다.

시장도 이미 이 흐름에 주목하고 있다. 글로벌 컨설팅 · 시장조사 업체 가트너는 2024년 「AI 하이프 사이클」*에서 ‘AI 에이전트(AI Agents)’를 ‘과도한 기대의 정점’* 단계에 있는 기술로 분류했다. 같은 보고서에서는 월드 모델*과 임바디드 AI*도 초기 혁신 단계의 주요 기술로 꼽았다. 이는 단순한 챗봇을 넘어선 ‘행동하는 AI’가 향후 5~10년의 산업 지형을 흔들 수 있음을 시사한다.

에이전틱 AI는 연산 수요의 성격도 바꾼다. 하나의 사용자 요청이 내부적으로 수십 번의 LLM 호출과 수십 번의 도구 호출로 이어질 수 있기 때문이다. 추론 모델이 더 긴 사고 과정을 거친다면, 에이전틱 AI는 하나의 작업을 끝내는 데 필요한 호출 횟수를 크게 늘린다. 추론(Reasoning)과 행위(Action)가 결합되는 순간, 데이터센터가 처리해야 할 토큰의 총량도 큰 폭으로 증가한다.

지난 10여 년의 AI 발전을 한 줄로 요약하면 “모델을 키워라”였다. 그러나 앞으로의 AI 경쟁은 그렇게 단순하지 않다. 사전학습에서 사후학습으로, 다시 추론 시점의 연산으로 경쟁축이 옮겨가고, 모델은 단발성 응답 시스템에서 자율적인 행동 주체로 바뀌고 있다. 평가 기준도 달라진다. 이제는 “얼마나 잘 맞히는가”뿐 아니라, “얼마나 일관되게 추론하는가”, “얼마나 안전하게 행동하는가”, “얼마나 신뢰할 수 있는 결과를 내놓는가”가 중요해진다.

추론과 에이전틱 AI는 AI가 처리해야 할 연산의 양과 형태를 바꾼다. 답변은 길어지고, 호출은 늘어나며, 문맥은 오래 유지된다. 그 결과 AI 인프라는 연산 장치를 더 확보하는 것만으로는 충분하지 않다. 필요한 데이터를 어디에 저장하고, 얼마나 빨리 읽어오며, 얼마나 효율적으로 처리할 것인가 중요해진다.

다음 편에서는 이 문제를 시스템 관점에서 살펴본다. AI 성능의 병목은 과연 연산 능력에 있는가, 아니면 데이터를 저장하고 이동시키는 시스템 구조에 있는가?

※본 콘텐츠는 AI/반도체 산업에 관한 인사이트를 제공하는 외부 전문가 칼럼 콘텐츠로, SK하이닉스의 공식 입장과는 다를 수 있습니다.