AI 기술, ‘비개발자’가 알아야 할 트렌드 1 의 후속편입니다.
AI 기술 트렌드, 비개발자 – 개발자 간 대화를 위한 넓고 얕은 지식
AI 기술 트렌드를 위해 찾아오신 비개발자, 혹은 개발자 여러분 안녕하세요, 사이냅소프트의 마케터 Alex입니다😎
마케터가 IT 도메인에 오면 해야 하는 것 3가지는 ①시장 알기 ②자사 알기 ③기술 알기인데요.
개발자, PM, IR심사역과 대화하기 쉬워지는 지식을 나누고 싶어서 찾아왔어요.
오늘은 ③기술 알기: ‘AI기술에 대해서 비개발자가 알아야 할 것‘ 을 주제로 이야기합니다.
전편 AI 기술, ‘비개발자’가 알아야 할 트렌드 1 (링크)를 보시지 않았다면 보고 와주세요.
학계에서 첫 목표는 추론의 정확도(Accuracy)였지만, 시간이 지날수록 모델의 답변 속도와 비용이 중요해졌다고 했죠.
모델 경량화, 속도와 비용을 잡다
그때 등장하는 것이 모델 경량화입니다.
출처: the ai edge.io
네이버의 경우 자사 서비스에 AI를 도입해 b2c 유저들에게 제공하려고 했더니, AI 모델의 결과값을 내놓는 속도가 500ms 로 너무 느렸습니다. 유저들이 편하게 쓰려면 150ms는 되어야 했습니다.
그래서 그때 이용할 수 있는 게 Quantization, Pruning, Low-Rank, Knowledge Distillation 등의 경량화 방법론들인데요. 신경망의 가중치 정밀도를 낮춰 메모리 사용량을 줄이거나, 모델의 일부를 가지치기 하여 연산의 효율을 높이는 등의 품질 훼손을 최소화하면서도 가볍고 빠르게 수행 되도록 하는 방법입니다.
이 이후부턴 비즈니스와는 상관없는 기술적인 삽질(Try and error) 이야기인데요 좀 더 자세하게 알고 싶은 미래의 개발자가 있다면 네이버에서 올려준 다음의 개발팀 설명을 들어보세요.
<AI 경량화: 더 빠르고 저렴한 AI 서비스>
sLLM, 모델을 작게 만들어서 해결하자
sLLM은 소규모 대형 언어 모델(smaller Large Language Model)의 약자로, 기존의 대규모 언어 모델(LLM)에 비해 상대적으로 작은 매개변수를 가지고 있는 모델입니다. sLLM은 매개변수의 수를 줄여 모델의 크기를 작게 만듭니다. 예를 들어, GPT-3.5의 매개변수는 1750억 개 이상이지만, sLLM은 60~70억 개 정도로 줄일 수 있습니다.
왜 모델 자체의 크기를 줄였냐고요? 돈,돈,돈이요!
모델 학습은 한번 시키면 된다고 제가 말했지만, 그 학습에 드는 비용은 어마어마합니다.
(출처: Epock AI)
위 표는 2017년부터 2023년까지 인플레이션률을 감안해 조정한 주요 AI 모델의 훈련 비용이에요. $930에서 출발해 $191,400,000 이 되었네요. 학습비용이 20만배 늘었고, 집에서 100만원 좀 넘는 돈으로 큰마음 먹고 훈련할 수 있었던 2017년의 트랜스포머 모델에서, 엄청난 자본을 가진 빅테크 기업이 아니면 시도를 못하는 금액으로 올라갔습니다.
그래서 모델에 관해서는 양극화가 생겼습니다. 더 큰 모델은 빅테크에게 맡겨두고 다시 작은 모델로 돌아가보자는 움직임이 생긴 거죠.
매개변수가 줄어들면 학습과 추론 둘 다에 드는 비용과 시간이 크게 절감됩니다. 우리의 비용 그래프가 대폭 아래로 내려가겠네요. 대신 잃어버리는 건 없냐고요? 쓸데없는 부분을 학습 단계에서 포기하기로 한 것에 가까워요. 특정 분야에 맞게 모델을 미세조정(fine-tuning)하고 그 분야에만 특화되어서 정확도를 높이죠. 대신 다른 모든 곳에 두루 쓰이는 기반 (Foundation) 모델은 아닌 거고요.
결론적으로 sLLM은 매개변수를 줄이고 모델을 최적화함으로써 비용과 시간을 절약하면서도 특정 분야의 높은 성능을 유지할 수 있군, 이라고 생각하시면 됩니다.
여기까지 알면 뭔가 아, 나 비개발자로써 트렌드 이정도면 다 안 거 아니야? 싶은데요.
컴퓨터 사이언스를 따로 전공하지 않은 채로 AI 부터 배운 몇몇 학생들은 이렇게 말할 때가 있어요. 어 저 AI 모델 피처 조정도하고, 모델 갖고 노는 건 다 하겠는데, 이거 그래서 어떻게 서비스에 붙여요?
아이고야. 모델만 배운다고 그게 서비스가 될 순 없어. 개발을 알아야겠구나. 그래서 AI 기술 트렌드로 떠오른 것이 MLOps, LLMOps 입니다.
MLOps, LLMOps 는 기업에서 AI를 실제로 운영하기 위해 발전
MLOps는 머신러닝 + 오퍼레이션의 약자입니다.
LLMOps는 대형언어모델 + 오퍼레이션의 약자고요.
AI에 대해서 조금 읽어보셨던 분이면 LLMOps가 MLOps 안에 포함되는 개념이란 건 금방 추론할 것 같은데요. 머신러닝(우리가 흔히 딥러닝과 합쳐 AI라고 부르는 것)안에 우리가 말하는 GPT-4o, 제미나이, 클로드 등 LLM을 기반으로한 서비스가 있으니까요.
헤드헌터들이 인력시장에서 ‘MLOps’ 라는 단어만 나오면 엄청나게 연락이 온다는 사실 아시나요? 단어는 들어봤지만 비개발자에게는 왜 유행하는지 이해하기 어려운 트렌드 중 하나입니다.
검색해도 무슨 소프트웨어 개발 방법론이라는 데… 하고 읽다 말게 되는데요. 우리가 헷갈리는 건 MLOps는 방법론이고, 주로 구인하는건 MLflow나 Kubeflow같은 MLOps 플랫폼을 쓸 줄 아느냐에 대한 건데 그게 단어로는 구분이 잘 안되어서 그래요.
그래서 MLOps가 뭐인지 사업적인 입장에서 설명드릴 게요.
AI를 일종의 자동차 엔진이라고 생각해보자고요. AI는 스포츠카의 엔진과 같습니다. 엔진이 자동차의 성능을 결정짓는 핵심 요소인 것처럼, AI는 데이터 처리와 분석의 중심에 있습니다. AI 모델은 데이터를 학습하고, 예측하고, 결정을 내리는 역할을 합니다. 엔진이 강력할수록 자동차의 성능이 뛰어난 것처럼, AI 모델이 정교하고 강력할수록 데이터 분석과 예측의 정확도가 높아집니다.
근데 엔진만 가지고는 차라고 고객들에게 팔 수 없어요. 에너지는 어디서 어떤 형태로 공급받죠? 전력의 형태인가요 열의 형태인가요? 이 엔진이 콩기름으로 돌아가진 않을 거 에요. 알맞은 데이터 타입과 전처리에 대해서 관리하고 AI에게 줄 데이터의 흐름을 설계해야 합니다.
자동차의 연료 공급 시스템은 데이터 파이프라인과 같고, 냉각 시스템은 모델의 성능을 유지하기 위한 모니터링 도구와 같습니다. 변속기와 같은 배포 시스템은 AI 모델을 실제 환경에 배포하고 운영하는 역할을 합니다.
AI 모델을 둘러싼 운영(Ops; Operation)에 대한 부분을 만들 줄 알아야 AI란 엔진을 제대로 쓸 수 있다는 뜻입니다. 그래야 그 위에 프론트엔드와 백엔드가 힘을 합쳐서 자동차 시트도 씌우고, 외장도 만들고, 계기판과 휠과 기어도 만들고, 바퀴도 만들어서 하나의 멋진 스포츠카를 세상에 내놓습니다.
여기까지 잘 따라오셨나요?
우리는 이제 우리는 AI 기술 트렌드가 우선 비용 때문에 변했다는 걸 앞서서 알게 되었고, 이번에 AI가 실제 개발에 접목되기 위해서 유행한 기술트렌드가 있다는 것을 알게 되었네요. 우리는 개발자가 되려는 것이 아니지만, 사내 개발자에게 어떤 플랫폼을 쓰고 왜 쓰는지는 점심시간에 대화해 볼 수도 있습니다. 관련해서 작은 링크를 드릴게요.
오픈소스를 활용한 쿠버네티스(Kubernetes) 기반 MLOps 플랫폼 도입(링크)
그런데 이렇게 환경을 구축한 생성형 AI를 기업이 현실에서 활용하다 보면, 저런. 신뢰할 수 없는 답변을 주는 도구가 될 수 있어요. 이것도 해결할 기술을 찾게 됩니다.
RAG(검색 증강 생성)는 산업에 적용하기위해서 LLM의 단점을 보완합니다.
RAG는 Retrieval-Augmented Generation의 약자로, 한국어로는 검색 증강 생성이라고 합니다. 이 기술은 정보 검색(IR)과 자연어 생성(NLG) 모델을 결합하여 AI가 더 정확하고 상세한 정보를 제공할 수 있도록 합니다.
우리가 지금까지 나눈 기술에 대한 이야기는 ‘특정 산업에 대한 목적성’ 이 없었어요. 보편적으로 학문에 가까웠던 기술이 산업에서 적용되려면 기술이 이렇게 변해야 해. 라는 이야기였죠. RAG는 특정 산업에 진입하기 위한 제한된 신뢰성을 부여해줍니다. 이런 부분이 없으면, 우리는 뭐든 될 수 있지만 아무것도 되지 않은 찰흙덩어리를 갖고 있는 거죠.
RAG는 AI에게 답변으로 참고할 특정 종류의 백과사전을 들려줍니다. AI가 미리 학습한 데이터 외부에 신뢰할 수 있는 지식 베이스를 참조하여 응답을 생성하는 건데요. 검색된 정보를 바탕으로 보다 정확하고 사실에 기반한 답변을 생성할 수 있습니다.
맥락 이해도 더 좋아져요. 제가 배전에 대해서 말할 때 그게 한국전력공사라면 변전소 이야기를 하고 싶은 거고, KT에서는 데이터를 광섬유네트워크에서 분배하는 작업 이야기를 하고 싶은 건데, 그걸 헷갈리면 안되겠죠. 한국전력공사가 자신의 AI에게 별도로 RAG에 활용될 한국전력공사의 데이터베이스를 주면 AI는 전력에 관련된 배전 이야기를 찾아서 줄 거에요. 생성된 답변의 출처도 명시하고요. 네, AI가 현실에서 사용되려면 답변에 대한 신뢰성이 필수이고, 이부분을 RAG 기술이 현재 도와주고 있어요.
그런데 또 이건 의외로 다시 돈이야기와 연결됩니다.
오픈AI의 연간 학습 및 추론 비용, (출처: 오픈AI)
저번 편의 학습/추론 연간 비용 그래프를 다시 가져왔습니다. Training Cost의 그래프가 처음 학습을 시킨 이후 에도 종종 위로 올라가죠? 중간 중간 학습을 새로 시켜야 했던 겁니다.
AI모델은 처음에 학습했던 시점의 지식만 가지고 있어요. 내용이 업데이트되면 학습을 중간에 다시 해야 하는데 RAG는 모델을 다시 학습할 필요 없이 외부 데이터를 활용하여 성능을 향상시킬 수 있습니다.
최신 연구, 통계 또는 뉴스를 반영하려면 또 AI에게 학습시켜야 한다고 생각해보자고요. 금융처럼 매일매일 데이터가 쏟아지는 곳은 AI를 쓸 수 없을 거예요. 하지만 RAG를 쓴다면 외부 데이터베이스에 질 좋은 데이터를 쌓아두고, AI와 연결하면 됩니다. 그러면 재학습 비용이 효과적으로 줄어들겠군요!
그러다보니 RAG는 특히 질의응답, 정보 검색, 팩트 체킹 등의 태스크에서 유용하게 사용됩니다.
아 마침 사이냅소프트에서는 RAG에 사용되는 문서 데이터를 효과적으로 구축하기 위한 제품이 있어요. 도큐애널라이저. 라는 제품인데요. 회사 서류에서 대부분의 내용은 한글, ppt, word, ppt, 이미지 문서로 이루어져있죠. 그런데 RAG에는 Markdown 데이터 포맷을 쓰거든요. 이럴 땐 어떻게 해야하지? 가 궁금하면 도큐애널라이저 소개를 읽어주세요.
도큐애널라이저 (링크)
RAG 를 위한 DB 구축하기: 문서 구조 분석 전문 솔루션 “사이냅 도큐애널라이저”🔍
요약노트: ‘AI가 산업에 적용되는 과정’이 2024년 현재의 ‘AI 기술 트렌드’를 정의한다.
오늘은 산업에서 AI가 적용되기 위해서 부딪히는 난관인 비용, 속도, 구조, 정확성 등과 관련된 기술 트렌드에 대해서 알아봤습니다.
산업의 요구에 의해서 기술의 개발이 촉진됩니다. AI 개발자가 아니라면 쿠버네티스에 대해서, LLaMA의 발전사와 파생에 대해서 잘 아는 게 포인트가 아닙니다. 중요한 것은 비즈니스 의사결정에 있어서의 기술이 가지는 의미고, 지금 단계에서는 어떤 요구 때문에 어떤 기술들이 트렌드가 되었는가를 아는 점이 중요합니다.
언젠가 멀티모달, 엣지 디바이스, NPU 등에 대해서도 다룰 수 있었으면 좋겠네요. 다음 회차는 8월 첫 주차를 기다려주세요.
AI 시장 현황, AI 기술 트렌드 by Alex 시리즈
1. 시장알기: 2024 생성형 AI 시장 브리핑: 리서치 중이라면 여기요🔍📈
2. 기술 알기: AI 기술, ‘비개발자’가 알아야 할 트렌드 1
3.기술 알기: AI 기술, ‘비개발자’가 알아야 할 트렌드 2
Alex는 누구인가요?
사이냅소프트의 마케터 Alex는 Designthinking FT 기업과 AI 교육 기업에서 일하며 기술 커뮤니케이션을 해왔습니다. Alex는 개발자가 비즈니스에 대해, 비개발자가 개발에 대해 쉽게 이해할 수 있는 컨텐츠를 만들고 상호 커뮤니케이션에서 시너지가 나도록 노력합니다.
지금은 TIL(Today I Learned): 깃헙 대신 블로그에서 잔디를 심는 🌱🌱🌱 중인데요, 사이냅소프트웨어나 위 내용이 더 궁금하시다면 mkt@synapsoft.co.kr로 연락주세요.
