AI 프로젝트 100% 성공을 위한 체크리스트 17

 AI 프로젝트 100% 성공을 위한 체크리스트 17 

비즈니스 성장을 위한 AI 프로덕트의
기획부터 설계, 성능 평가까지 단계별 전략

유진호 지음 | 정진호 그림
376쪽 | 28,000원 | 2026년 1월 30일 출간 | 172*225*22 | ISBN 9791189909666  (93000)

판매처 | [교보문고] [YES24] [알라딘] [영풍문고] + 전국 교보/영풍문고 매장
 전자책  판매처 | [교보문고] [YES24] [알라딘] [리디북스] | 2026년 2월 출간 예정

 

✔️ 정오표: https://www.onlybook.co.kr/entry/ai-project-17  

 

 성공률 100%의 AI 프로젝트를 위한, 
 현장에서 즉시 꺼내 쓰는 실전 로드맵!  

화려한 AI 기술 스택 뒤에는 비즈니스 가치 입증 실패, 운영 비용의 늪, 경험의 부재라는 수많은 함정이 도사리고 있다. 

이 책은 AI 프로젝트가 왜 반복해서 실패하는지에 대한 물음으로 출발해, 기획 단계의 타당성 검토부터 개발, 설계, 구현, 운영상의 리스크 관리까지 전 과정에서 반드시 점검해야 할 17가지 핵심 질문과 체크리스트를 실제 프로젝트 흐름에 맞춰 제시한다.

단순히 AI 기술을 소개하는 책이 아니라, AI 프로젝트가 기업이나 조직의 비즈니스 성과로 이어지기 위해 무엇을 점검해야 하는지를 하나씩 확인하며 따라갈 수 있는 실전 로드맵이다.

01234567891011

☑ AI 프로젝트 사전 진단: 실패를 딛고 100% 성공으로 향하는 기본 점검 사항

☑ 실전 로드맵: 기획-개발-운영 단계별 놓치지 말아야 할 필수 점검 사항

☑ 완벽한 AI 프로덕트: 성능 평가, 최적화, 인재 확보와 관리 전략까지

| 이 책의 독자 대상 |
✔ AI로 새로운 기회를 만들고 비즈니스 가치를 높이려는 실무자와 경영진
✔ 당장 제품과 서비스에 AI를 적용해야 하는 개발자, 머신러닝 엔지니어, 데이터 과학자
✔ 기존 서비스에 AI를 접목해 프로덕트를 기획, 운영해야 하는 PM과 PO
✔ 반복되는 AI 프로젝트 실패의 구조적 원인을 찾고 싶은 조직 리더

이 책의 구성

1부 ‘AI 프로젝트를 시작하며: 기본 점검’
1장 ‘프로젝트가 실패할 확률을 추산해보았나?’에서는 AI 프로젝트가 실패할 확률은 왜 그리도 높은지, 실패를 피하려면 초기에 어떤 부분을 고려해야 하는지를 다룹니다. 
2장 ‘생성AI 기술은 절대반지일까?’에서는 생성AI 기술이 모든 것의 해답은 아닐 수도 있다는 점을 짚어봅니다. 특히 기존에 잘 활용해온 규칙기반 시스템이나 머신러닝 시스템이 더 적합한 일들은 무엇이며, 생성AI/LLM이 적합한 일은 무엇인지를 알아봅니다.
3장 ‘업무 노하우와 도메인 지식을 파악해 적용했는가?’에서는 AI를 적용할 각 분야 실무자들의 도메인 지식과 업무 노하우를 어떻게 정리해서 AI 프로덕트에 녹여낼 것인지를 살펴봅니다. 

2부 ‘AI 프로젝트의 실제 구축 방안’
4장 ‘우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?’에서는 현재 해결하고자 하는 문제에 어떤 AI 기술을 선택해서 써야 할지에 대해 알아봅니다. 다양한 기술의 기본 사항과 특장점에 대한 기초 지식을 갖추고자 합니다.
5장 ‘서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?’에서는 AI 프로덕트가 현실에서 돌아가게 하기 위해 필요한 가드레일, 라우터나 게이트웨이, 프롬프트 템플릿 관리 등을 알아보고, 그 필요성과 의미에 대해서도 살펴봅니다. 
6장 ‘데이터는 어떻게 확보했으며, 충분히 준비할 수 있었는가’에서는 데이터를 가져오는 데 방해가 되는 요소들을 피하는 방법, 때에 따라서는 오픈소스로 공개된 데이터들을 이용하고 부족할 경우에는 합성 데이터를 만드는 것, 그리고 개인정보보호 방안까지 알아봅니다.
7장 ‘비정형 문서를 제대로 읽어와서 처리했는가?’에서는 다양한 문서에서 비정형 데이터를 가져와서 정리하는 방법, 파일 포맷별로 달라져야 하는 다양한 문서 파싱 전략 방안을 살펴봅니다.
8장 ‘LLM: 자체 구축할까? API를 활용할까?’에서는 직접 서빙시에 어느 정도의 비용이 드는지 추산을 해보고 상황에 따라 어떻게 접근하는 것이 경제적인지를 살펴봅니다. 
9장, ‘SLM: 적시에 도입하고 제대로 활용하고 있는가?’에서는 실제 비즈니스에 맞는 SLM을 언제 만들어야 하고 어떻게 만들어야 하는지를 알아봅니다. 지식 증류, 파인튜닝, 양자화 등 독자가 꼭 알아야 하는 기본 사항들을 위주로 살펴봅니다.
10장 ‘비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에게 맡길까?’에서는 워크플로와 에이전트의 차이를 알아보고, 언제 무엇을 선택해 쓰는 게 좋은지를 살펴봅니다. 

3부 ‘더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소’
11장 ‘적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?’에서는 좋은 프롬프트를 만드는 많은 방법 중에 제가 직접 써보고 좋았던 방법들을 정리했습니다. 특히 ‘컨텍스트 엔지니어링’의 관점에서 어떻게 프롬프트를 봐야 할지도 알아봅니다.
12장 ‘AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?’에서는 RAG를 최적화해서 AI가 더 답을 잘할 수 있는 방법을 소개합니다. 이와 관련해, 청킹, 임베딩, 검색, 재순위, 에이전틱 RAG 등을 배워봅니다.
13장 ‘RAG 성능을 평가하고 있는가?’에서는 RAG의 성능 평가를 할 때 벡터DB에 올린 자료들에 입각해서 평가 데이터셋을 만들고, LLM을 통해서 평가하는 RAGAS에 대해 알아봅니다. 
14장 ‘LLM 모델 성능을 평가하고 있는가?’에서는 LLM 모델의 성능 평가가 필요한 이유를 알아봅니다. 성공적인 모델 성능 평가를 위해서는 명확한 목표를 정의하고 이에 맞는 데이터셋을 모아야 하며, 여러 가지 평가지표를 설정하고 마지막으로 이 지표들을 균형 잡힌 결과로 해석해야 합니다.
15장 ‘에이전트 성능을 평가하고 있는가?’에서는 에이전트 성능 평가가 필요한 이유, 그리고 성능 평가를 실제로 수행하기 위해 공개 벤치마크를 활용한 평가 방식을 알아봅니다. 또한 기존의 벤치마크들이 다루지 못하는 부분에 대해 직접 벤치마크와 지표를 마련하는 방법도 살펴봅니다.
16장 ‘AI의 거짓말과 환각에 대응하고 있는가?’에서는 환각 현상이 모델 학습에서부터 기인한 현상이므로, 환각 현상을 줄이기 위한 방안으로 RAG를 통한 외부 문서 참조, 롱 컨텍스트 모델 활용, 가드레일 기술을 통한 실시간 입출력 검증, 출처 명시를 통한 투명성 강화, 인적 검증 및 피드백 시스템 구축 등을 알아봅니다.
17장 ‘인재 확보와 관리 전략을 운영하고 있는가?’에서는 기업이나 조직에서 함께 사용자의 관점에서는 일할 사람들을 어떻게 뽑을 수 있을지, 그리고 이취업을 준비하는 피사용자의 관점에서는 어떻게 AI 회사에서 일할 기회를 얻을 수 있을지를 알아봅니다.  

부록 A ‘오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목’에서는 허깅페이스에 있는 모델카드상의 스펙들을 비교/추정해서 우리가 만들려는 제품에 어떤 모델이 맞는지를 판단할 수 있는 항목을 알아봅니다. 
부록 B ‘AI 프로덕트를 기획하기 전에 고려할 사항’에서는 어떻게 해야 의미가 있는 프로덕트를 만들 수 있을지, 그 스펙은 어떻게 정해야 하는지, 경쟁자들은 어떻게 따돌릴지에 대해 생각해 볼 수 있는 항목을 살펴봅니다.

추천의 글

2026년은 드디어 현실 세계에서 쓸 만한 답을 내놓는 수준의 AI가 등장하게 될 원년입니다. 이제는 많은 사람들이 챗봇 방식으로 AI에게 궁금한 것을 물어보고 답을 얻거나 필요한 이미지를 생성합니다. 한편, 어떤 형태의 일이든 AI에게 맡겨서 진행하게 하는, 즉 AI 에이전트가 본격적으로 가능성을 보여줄 해이기도 합니다. 
챗봇 방식으로 AI를 쓰는 수억 명의 대중들에 비해서는 훨씬 적은 숫자의 사람들이 주목하고 있긴 합니다만, 이 에이전트로서의 가능성은 수많은 AI 애플리케이션과 플랫폼 개발 및 사업 기회의 신세계를 열고 있습니다.
신세계에는 언제나 크고 많은 위기와 기회가 공존합니다. 위기는 줄이고 기회를 늘리면서 신세계에 뛰어들고 싶다면, 최소한 이 책이 알려주는 체크리스트 정도는 꼭 한 번 챙겨보시길, 비슷한 세상을 살짝 먼저 탐사하고 있는 사람으로서 적극 권합니다. 
- 고영혁 / 고넥터 대표, 데이터사이언티스트, 그로스해커

많은 기업들이 LLM을 활용하여 사내 AX를 추진하려 하고 있으나, 정작 AX 조직을 만들기만 할 뿐 무엇부터 시작해야 하는지 몰라 막막해 하는 경우가 많다. 하지만 이제 가장 먼저 해야 할 일이 결정된 듯하다. AX 조직을 만들고 나서는 가장 먼저 AX 조직원들에게 이 책을 읽게 해야 한다. 그리고 AX 추진 과정 중간쯤, AX 과제 중 한두 개라도 성과(?)가 어렴풋이 나오기 시작할 즈음에 이 책을 한 번 더 읽으라고 하자.
‘기본’은 우리에게 무엇인가를 시작할 수 있는 토대를 제공하지만, 조금만 지나면 지켜지기 가장 어려운 것 또한 ‘기본’이다. 이 책은 우리에게 무엇을 해야 하는지 알려주어 시작할 수 있는 용기를 줄 것이며, 언제든 우리를 일탈(?)에서 보호해 줄 것이다.
- 김형준 / 한솔PNS 대표이사 

파이썬 프로그래밍이 가능하다면 랭체인이나 라마인덱스 등의 프레임워크를 활용해 LLM 애플리케이션을 만들기는 크게 어렵지 않다. 튜토리얼만 보면 하루 만에 RAG를 만들거나 에이전트를 만들 수 있다는 이야기도 심심치 않게 들린다. 하지만 네트워크로 폐쇄되어 있고 늘 자원이 부족한 운영 환경, 황금과 쓰레기가 뒤죽박죽된 데이터, 복잡한 워크플로, 까다로운 사용자 요구사항을 고려하지 않고 만든 프로그램은 프로토타입으로서 가능성만 열어준다고 봐야 한다. 
이 책은 저자가 경험했던 다양한 상황을 제시하면서 문제점과 해결 방안을 제시하므로, 앞서 언급한 프로토타입 수준의 애플리케이션을 상용 수준의 프로덕트로 만들 수 있게 도와준다. 현장에서 생성AI 기술을 중심으로 실제로 어떤 일이 일어나고 있는지 궁금한 분들께 추천 드린다.
- 박재호 / <컴퓨터 vs 책> 블로그 운영자, 『모던 소프트웨어 엔지니어링』 역자 

2025년 11월, 공정거래위원회와 한국소비자보호원은 온라인 쇼핑몰을 대상으로 AI와 관련된 제품들을 “AI 워싱washing”으로 AI 제품인 것처럼 홍보한 사례 20건을 적발하고 시정 조치를 취했습니다. 이러한 사례는 비단 쇼핑몰 제품에만 국한되지 않습니다. 기존 대기업 또한 주가 부양을 위해 AX로 전환된 AI 기업임을 홍보하고 있으며, 스타트업들은 투자를 유치하기 위해 AI 비즈니스 기능 설명 없이는 투자제안서를 작성할 수 없는 실정입니다. 이런 식으로 홍보되고 있는 기능이 실제 AI와의 연계성을 갖추었는지는 추후 검토될 문제입니다.
이 상황을 극복하기 위해서는, 기업의 전략, 프로세스, 제품, 서비스 전반에 걸쳐 AI에 대한 깊이 있는 이해가 필요합니다. 조직의 개발자들 또한 AI를 단순히 코딩을 대체하는 도구로만 인식한다면 그들의 역할은 단기적인 것으로 제한될 것입니다. 이 책에서는 기업이 AI를 통해 혁신을 이루기 위해 갖춰야 할 기본 소양과 추가적인 준비 사항들을 평소 저자가 경험한 사례들을 바탕으로 친절하게 설명합니다. 
모쪼록 독자들이 조직과 제품에 단순히 AI를 추가하는 것이 아니라, AI를 기반으로 새롭게 구축하는 계기가 되기를 바랍니다. 
- 박종욱 / (주)뉴로어소시에이츠 CTO

기업이 AI 도입시에 환각 증상을 보인다는 것은, 과거 IT 시스템을 도입할 때와 큰 차이가 없는 상황임을 뜻한다. 기업 내부에서 AI를 받아들일 의도와 충분한 경험, 지식이 디지털화되어 있는지, 이를 경험적으로 축적하고 있는지를 제대로 파악해야 함을 이 책은 날카롭게 짚어낸다. 실제, 자기 조직원들도 이해하지 못할 명세나 요구사항이 암묵지처럼 존재한다면, AI 도입을 한다는 것이 얼마나 무의미한 도전인지에 대해서도 이 책을 읽어보면 잘 알 수 있다.
이 책은 AI 프로젝트를 시작하는 이들에게 꼭 필요한 실무 가이드로, 흔히 놓치기 쉬운 ‘위험 요소’를 체계적으로 정리해 준다. 도메인 지식 통합부터 성능 평가, 인적 요소까지 폭넓게 다루어, AI 프로덕트 기획과 운영에 실질적 도움을 준다. 특히, 현장의 경험과 사례를 바탕으로 한 점검 리스트는 실제 업무에서 바로 활용할 수 있는 유용한 도구가 될 것이다. 
이 책에서 가장 흥미로운 점은 기업 내부의 비 디지털화될 가능성이 큰, 비정형 데이터에 대한 인사이트를 저자의 경험에 근거해 알려준다는 점이다. AI는 특이하게도, 이런 비정형 데이터를 다루기에 매우 적합하고, 시각적 파싱을 통해서 유의미한 디지털 경험으로 증폭하는 것이 가능함을 명확하게 밝혀준다.
비즈니스를 다루는 기업 내부에서 어떤 단계로 내부 경험과 지식, 디지털화와 IT 시스템을 구축해야 할지를 심도 있게 생각하게 해주는 책으로서, AI 도입을 통해 기업 확장을 위한 디딤돌 역할을 맡게 될 AI 실무자와 경영진이 꼭 짚어야 할 체크리스트들을 잘 전달해준다. 
현업에 적용하기 전에 꼭 한 번 정독하기를 추천한다.
- 신현묵 / 우리들녹지국제병원 CIO

AI 솔루션을 직접 개발하면서 현장에서 겪은 고민과 시행착오를 바탕으로, 왜 많은 AI 프로젝트가 실패하고 있는지, 그리고 성공하려면 무엇을 준비해야 하는지를 현실적으로 풀어낸 책입니다. AI 솔루션 개발 사업을 담당하고 있는 저의 입장에서는 현장의 어려움을 정확히 짚어주는 내용이라 더욱 반갑게 느껴졌습니다. 
특히 이 책은 AI 관련 기술을 도입할 때 어떤 점을 고민하고 어떤 기준으로 판단해야 하는지를 명확하게 제시합니다. 저자는 최신 기술에 대한 깊은 이해를 토대로 기술 적합성 중심의 접근법을 토대로 설명하고 있으며, 간단한 사례를 통해 문제 정의부터 프로젝트 수행 전반까지 A to Z를 구체적으로 다룹니다. 현재 진행 중인 저의 AI 사업과 프로젝트를 되돌아보는 계기도 되었으며, 이 책이 앞으로의 선택과 방향을 정리하는 데 중요한 기준이 될 것이라 느꼈습니다. 
좋은 책을 만나 기뻤으며, AI 솔루션을 만드는 실무자로서 감사한 마음이 듭니다. AI 기술 도입 시 반드시 읽어야 할 필독서라고 자신 있게 말씀드릴 수 있습니다.
- 양지욱 / AI솔루션 개발사 KBTdot 대표

AI 솔루션 기업의 대표로서 빠르게 변화하는 기술 환경 속에서 매일 마주하는 감정은 확신이 아니라, 불완전한 판단을 끌어안고 기어이 전진해야 한다는 두려움입니다.
이 책은 모든 것이 급변하는 AI 기술 환경 속에서 2026년 1월 현재 포착할 수 있는 가장 최전선의 통찰을 담아 내면서도, 단순히 방법론을 나열하는 데 그치지 않고 “왜 그런 판단을 내려야 하는가”라는 판단의 맥락과 “우리가 해결해야 할 문제의 본질”을 집요하게 파고듭니다. 
앞으로도 AI 기술 환경은 수많은 변화가 이어질 것입니다. 기술의 화려함 뒤에 숨어 있는 실전적 리스크와 도메인 지식의 중요성을 두루 다루고 있는 이 책은 2026년 AI 프로덕트를 만들고 프로젝트를 수행하는 분들에게 훌륭한 이정표가 되리라 생각합니다.
- 정영현 / 코르카 대표

AI를 도입해 업무, 프로덕트, 서비스를 제대로 개선하려면 기술뿐만 아니라 조직, 사람, 프로세스도 모두 함께 바뀌어야 합니다. 현장에서 더 큰 어려움을 겪는 분야는 대체로 비기술 영역이며, “일자리를 잃을지 모른다”는 불안은 변화에 대한 저항으로 이어져 프로젝트를 좌초시키곤 합니다.
유진호 님은 전작 『최고의 프로덕트는 무엇이 다른가』에서 보여준 것처럼 기술과 조직 운영, 프로덕트 개발 방법론을 아우르는 폭넓은 경험을 바탕으로, 이 책에서도 AI 도입 실패의 원인을 설명하고 데이터, 평가, 환각, 법적 리스크 등 위험 요소를 체계적으로 점검하는 방법을 보여줍니다. 또한 기술 선택과 아키텍처, 가드레일이나 모니터링 등의 운영을 비롯해, 조직에 AI 활용이 정착되는 실행 전략까지 안내합니다.
이 책이 여러분의 AI 프로젝트를 단지 ‘신기술 도입’에 그치지 않고 ‘비즈니스 성과’로 연결시키는 데 큰 도움이 될 것이라 믿습니다.
- 정현준 / 아마존코리아 Sr. Technical CSM

지은이 유진호

국민대학교 전자공학과에서 공학학사를, 서강대학교 영상대학원 미디어공학과에서 공학석사를 취득했다. 컴퓨터 비전 분야에서 시작해서 GE헬스케어에서 초음파 진단 장비관련 일을 하다가 카카오엔터테인먼트에서 크로스 플랫폼 3D 렌더링 엔진 개발 업무를 했고, 파라메타에서 블록체인과 클라우드, 티켓플레이스에서 웹서비스와 클라우드 등 다양한 분야에서 소프트웨어 개발을 수행해왔다. 동시에, 애자일 코치로서 소프트웨어 팀이 높은 생산성과 열정을 가지고 일할 수 있도록 개발 조직을 운영하기 위해 노력하고 있다. 현재는 한솔PNS에서 AX 플랫폼인 AI-Atlas를 개발하고 있다.

서점에는 많은 생성AI/LLM 관련 책들이 있습니다. AI가 인류의 모든 직업을 없앨 거라는 미래 예측서들, 엊그제 출시된 AI 서비스들을 우선 빨리 써보고 스크린샷에 설명을 붙여 정리한 책들, AI는 모두 사기라는 책들, 수학과 코드를 동원해 기술적으로 아주 깊이 설명하는 책까지 정말 다양합니다. 그러나 이 책들만 들고 뭔가 일을 하기에는 다소 허망한 느낌이었습니다. 그래서 많은 사람이 챗GPT나 제미나이에 물어보거나 어디서 ‘들어본 이야기’를 바탕으로 일을 하려다가 어려움을 겪는 상황을 적잖이 볼 수 있었습니다. 혹은 지나치게 많은 자료들 가운데 일부 잘못된 이야기를 거르지 못해서 그릇된 판단을 내리는 상황을 본 적도 많습니다.
저는 ‘좋은 것이 무엇인지’ 알려줄 수 있는 지도 같은 것이 필요했습니다. 그러나 이를 찾기가 쉽지는 않았습니다. 결국 제가 선택할 수 있는 방법은 ‘스스로 지도를 만드는’ 것뿐이었습니다. 제가 본 것, 들은 것, 해본 것, 찾은 것, 또 주위에서 해주는 이야기들을 하나씩 적고 스크랩하고 정리하면서 그 속의 의미들을 고민하는 것부터 시작했습니다. 그러다 보니 저와 비슷하게 AI를 이용해서 뭔가를 하려는 사람들에게 도움이 될 수 있는 자료들을 만들 수 있었습니다. 처음에는 이 내용들을 백과사전처럼 정리했습니다. 그러다가 출판사로부터 ‘체크리스트’처럼 정리하는 것이 읽는 사람들에게 더 도움이 되겠다는 피드백을 받았습니다. 그래서 AI 프로젝트를 하거나 프로덕트를 기획할 때 꼭 가야 하는 길을 알려주고, 피해야 하는 ‘암초’들의 위치를 알려주는 17가지 체크리스트들을 각 장의 ‘제목’으로 삼아 제가 직접 현장에서 경험한 세부 사항들을 정리했습니다.
이 책은 생성AI나 LLM 등에 관한 기초 지식이나 사용법을 익히게 하려는 데 그 목표를 두지 않았으며, 실제 기업이나 조직에서 현업 AI 프로젝트를 수행하거나 AI 프로덕트를 만들 때 성공률을 100% 가까이 높이게 하고자 하는 독자를 타깃으로 했습니다. 독자분들이 책을 읽으면서 좀 더 정보를 얻으면 좋을 참고 자료 목록이나 링크 등을 주석으로 달아두었습니다. 또한 최대한 어려운 수식이나 코드는 배제하고 설명했으므로 프로젝트 성공을 바라는 독자들에게 좋은 자료가 되길 바랍니다. 
다른 분야에 종사하다가 AI 분야로 들어오시는 모든 분께도 모쪼록 이 책이 좋은 길라잡이가 되었으면 합니다. 그리고 기술 그 자체에만 너무 얽매이지 말고 그 기술이 영향을 미치는 ‘사람들’과 사람 간의 ‘관계’, 이들이 만들어 내는 ‘기회’를 잡는 데 도움이 되기를 진심으로 바랍니다.

일러스트 정진호

개발자 출신 작가, 일러스트레이터, 바이브코딩 전문가. 글로벌 인터넷 기업 엔지니어를 거쳐, 독학으로 14년째 그림을 그리고 있다. 40권 이상의 저서·역서·일러스트 작업, 기업·학교·공공기관 강의와 프로젝트를 수행하며 아날로그와 디지털을 넘나드는 창작을 실험한다. 복잡한 것을 단순하게, 어려운 것을 쉽게. 국내 최고령 크리에이터가 되는 소박한 꿈을 품고 매일 바이브 코딩으로 앱을 만든다.

 

차례

1부  AI 프로젝트를 시작하며: 기본 점검
1장  프로젝트가 실패할 확률을 추산해보았나?
생성AI/LLM를 이용한 프로젝트들이 인기 있는 이유
생성AI/LLM 프로젝트들의 치명적 함정들
생성AI/LLM 프로젝트의 위험성을 줄일 수 있는 방안
정리

2장  생성AI 기술은 절대반지일까?
기존 머신러닝/규칙기반 기술이 더 적합한 문제도 있다
생성AI/LLM이 더 적합한 문제도 있을까?
기존 머신러닝/규칙기반 vs 생성AI/LLM 기술의 달라진 개발 순서
정리

3장  업무 노하우와 도메인 지식을 파악해 적용했는가?
지식 습득과 생산 비용을 획기적으로 감소시킨 생성AI/LLM
무엇이 우리를 다른 경쟁자들과 다르게 만들까?
도메인 지식과 숨은 업무 노하우를 끌어내는 방법
1단계: 분석할 중요한 사건을 선정하기
2단계: 시간 순서표 만들기
3단계: 깊이 파고들기
4단계: “가정해보는(What if)” 질문하기
도메인 지식과 생성AI/LLM의 융합으로
정리

2부  AI 프로젝트의 실제 구축 방안
4장  우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?
LLM 모델만 이용할 경우
RAG: LLM 모델에 데이터를 붙여서 이용하기
에이전트: LLM모델에 도구와 메모리 붙이기
MCP: 모든 도구들의 ‘사실상 표준’
여러 에이전트들 연결하기: A2A 프로토콜
정리

5장  서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?
1단계: 가드레일 설치
2단계: 라우터와 게이트웨이
3단계: 프롬프트 템플릿 관리
4단계: 캐시로 응답시간 줄이기
5단계: 출력을 입력으로 넣어주기
6단계: 모니터링과 관찰 가능성 추가하기
정리

6장  데이터는 어떻게 확보했으며 충분히 준비할 수 있었는가?
생성AI/LLM 앱에는 어떤 데이터가 필요할까?
오픈소스 데이터셋 활용하기 
데이터가 쌓이는 구조 설계하기
데이터 증강하기: CRAFT 방법론
데이터 수집이 어렵거나 법적 문제가 있을 경우
데이터를 가져오기 위한 레거시 시스템과의 연동
데이터에서 개인정보보호 방안을 마련했는가?
정리

7장  비정형 문서를 제대로 읽어와서 처리했는가?
정형 데이터 vs 비정형 데이터, 무엇이 다른가?
비정형 문서를 데이터로 변환하는 방법
파싱: 문서 파일을 기계가 읽을 수 있는 데이터로 변환하기
문서 포맷별 어려운 점: PDF
그 외 문서 포맷별 어려운 점
‘표준 데이터 형식’ 만들기
청킹: LLM이 한 번에 소화할 수 있게 잘게 나누기
정리

8장  LLM: 자체 구축할까? API를 활용할까?
AI 시스템을 자체 구축할 경우?
직접 LLM을 서빙할 때의 비용은 얼마나 드나?
LLM API의 비용은 점점 더 저렴해지고 있다
모든 것에 다 비싼 생성AI/LLM API를 쓰지 않아도 된다
정리

9장  SLM: 적시에 도입하고 제대로 활용하고 있는가?
SLM은 언제 도입해야 할까?
SLM은 어떻게 만드는가?
__언어 모델 구조 결정
__지식 증류: 특화된 작업 결정 후 그에 맞는 학습 데이터 준비
__모델 재학습: 파인튜닝
__양자화를 통한 모델 크기 축소
__만들어진 모델의 평가와 서빙
그럼에도, SLM은 성능이 너무 떨어지지 않을까?
정리

10장  비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에 맡길까?
증강LLM, LLM 워크플로, 에이전트란 무엇인가?
앤스로픽이 제안한 LLM 워크플로 패턴
정말 에이전트를 써야 할 때는 언제일까?
__정형화된 정보의 요약 및 질의응답
__반복 업무 자동화 및 보고서 작성
__외부 도구 및 API 연계를 통한 작업
__코드 생성 및 개발 보조
__대규모 데이터 분석 및 의사결정 보조
에이전트를 쓰지 말아야 할 때는 언제일까?
__직관을 이용해 실시간 대응이 필요한 작업
__복잡한 논리 추론과 인과관계 이해
__장기 기억 및 긴 문맥이 요구되는 작업
__복잡한 다단계 계획 수립 및 새로운 도구 조합
__창의적 발상과 의미 있는 혁신 작업
__사실 검증이 필요한 정확한 지식의 응용
실전 사례: 어느 증권 프로젝트의 전환점
정리

3부  더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소
11장  적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?
프롬프트 엔지니어링은 과연 끝났는가? 6
다른 사람들은 프롬프트를 어떻게 만들까?
프롬프트를 이용한 가드레일 설계
효과가 탁월한 ‘생각의 사슬(CoT)’ 프롬프트 기법
시스템 프롬프트, 사용자 프롬프트, 언어 모델별 프롬프트 작성법
LLM 모델별 프롬프트 작성 방법
LLM을 이용한 프롬프트 최적화
프롬프트를 관리하고 평가하라
컨텍스트 엔지니어링: 전체 맥락을 설계하라
정리

12장  AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?
RAG가 질문에 답하는 방법
사용자의 질문이 명확하지 않을 때
청킹: RAG에 넣기 위해 데이터 조각내기
임베딩 모델 선택과 파인튜닝
희소 벡터와 밀집 벡터
벡터DB 및 검색엔진 최적화와 재순위자
지식 그래프를 통해 검색의 정확도를 높인 RAG: 그래프RAG
일반 RAG vs 에이전틱 RAG
정리

13장  RAG 성능을 평가하고 있는가?
RAG의 성능을 평가할 수 있는 도구
평가도구 자세히 보기: RAGAS
__1단계: 평가 데이터 준비하기
__2단계: 세 가지 핵심 지표로 평가하기
RAG의 성능 평가는 반복적으로 그리고 주기적으로 해야 한다
정리

14장  LLM 모델 성능을 평가하고 있는가?
우선 ‘무엇을 잘하게 만들고 싶은가’부터 정의하라
LLM 평가: 사람과 AI, 누가 더 나은 심판인가?
단일 지표보다는 균형 잡힌 접근
정리

15장  에이전트 성능을 평가하고 있는가?
일반적으로 사용하는 에이전트의 성능 평가 지표
평가 접근법의 분류
__종합 실무 능력 평가 방법(1) 가이아
__종합 실무 능력 평가 방법(2) 더에이전트컴퍼니
펑션 콜링 기능 평가하기
벤치마크 점수에 지나치게 몰입하지 않도록
우리 에이전트를 평가하는 고유한 에이전트 벤치마크를 만들자
정리

16장  AI의 거짓말과 환각에 대응하고 있는가?
왜 환각 현상은 완전히 제거하기 어려운가?
일반적인 환각 현상 관리 전략
각 분야별 환각 현상 대응 방법
정리

17장  인재 확보와 관리 전략을 운영하고 있는가?
기술 격차와 수급 불균형의 문제
그렇다면, 어떤 사람이 필요한가?
일반 소프트웨어 엔지니어가 없으면 AI 서비스를 만들 수 없다
AI 분야의 엔지니어로 취업이나 이직을 고려하고 있다면?
정리 

부록A  오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목
부록B  AI 프로덕트를 기획하기 전에 고려할 사항