SK네트웍스 Family AI 캠프 30기 14주차 회고

📅 데일리 학습

• 6월 29일 (월)

[59일차] 파인튜닝 - 기초

 

Ollama API를 활용해 로컬 환경에서 LLM을 실행하고, Hugging Face의 오픈소스 모델을 직접 로드해 추론하는 과정을 실습했다. 또한 파인튜닝용 데이터셋 구조와 JSONL 학습 데이터 생성 방법을 익히면서, 상용 API 없이도 로컬 환경에서 오픈소스 LLM을 활용하고 파인튜닝을 준비할 수 있다는 점을 알게 되었다.

• 6월 30일 (화)

[60일차] 파인튜닝 - LoRA

 

LoRA를 이용해 LLM을 파인튜닝하고, 학습한 모델을 Ollama에서 실행하는 과정까지 실습했다. 아직 모든 내용을 완전히 이해하지는 못했지만, 모델을 학습하고 활용하는 전체 흐름을 직접 경험할 수 있었다.

• 7월 1일 (수)

[61일차] LangGraph - 컨테스트 메모리, 멀티 에이전트

 

LangGraph를 활용한 에이전트 구조를 학습했다. 하지만 프로젝트 시작을 앞두고 있어 집중도가 떨어졌고, 내용도 쉽지 않아 완전히 이해하지는 못했다. 프로젝트를 진행한 뒤 다시 복습하며 개념을 정리해볼 예정이다.

• 7월 2일 - 3일 (목, 금)

[62일차 ~ 63일차] 3차 프로젝트

 

3차 프로젝트는 정말 함께하고 싶었던 팀원들과 프로젝트를 진행하게 되어 시작부터 기대가 컸다. 하지만 가장 어려웠던 것은 주제를 정하는 과정이었다. 재미있고 참신한 서비스를 만들고 싶었지만, 포트폴리오인 만큼 기업에서도 관심을 가질 만한 주제를 선택해야 했고, 그 균형을 찾는 것이 생각보다 쉽지 않았다. 여러 아이디어를 고민한 끝에 전·월세 분쟁 팩트체커를 주제로 선정했고, 기존처럼 계약 전 정보 제공에만 그치지 않고 계약 후 발생할 수 있는 분쟁까지 도움을 줄 수 있는 서비스로 방향을 잡았다.

프로젝트를 진행하면서 가장 먼저 부딪힌 문제는 PDF 데이터 수집이었다. 문서 안의 표가 텍스트가 아닌 이미지 형태로 되어 있어 OCR을 사용해야 했는데, 추출된 결과는 띄어쓰기나 인식 오류가 많았다. 이를 보완하기 위해 LLM을 활용해 후처리를 진행했고, 데이터를 준비하는 과정에서도 API 비용이 발생한다는 것을 직접 경험했다. 평소에는 결과만 사용했지만, 실제 프로젝트에서는 데이터를 하나하나 가공하는 과정에도 많은 시간과 비용이 들어간다는 점을 알게 되었다.

가장 아쉬웠던 부분은 PDF를 LLM으로 정리하는 방식이었다. 메타데이터를 어떻게 구성할지만 신경 쓰다 보니 페이지가 이어지는 문맥은 미처 고려하지 못했다. 페이지별로 나누어 처리하면서 앞 페이지의 마지막 내용과 다음 페이지의 첫 내용을 연결해 전달했어야 했는데, 이전 내용을 함께 프롬프트에 넣지 않아 일부 문맥이 자연스럽게 이어지지 않았다. 지금 생각해보면 이전 페이지 내용을 함께 전달하거나 Chunking Overlap처럼 문맥을 이어주는 방식을 적용했어야 했는데, 그 부분을 놓친 것이 가장 아쉬웠다.

이번 프로젝트를 통해 PDF 데이터를 수집하고 전처리하는 방법을 여러 방식으로 직접 테스트해볼 수 있었던 점은 큰 수확이었다. OCR뿐 아니라 LLM을 활용한 전처리도 경험했고, Vector DB에 데이터를 저장하는 과정에서는 많은 데이터를 배치로 넣다 보니 중간에 오류가 발생하는 일도 있었다. 강의에서는 잘 드러나지 않았던 문제들을 직접 겪고 해결해보면서 실제 프로젝트에서는 예상하지 못한 변수들이 정말 많다는 것을 느꼈다.

무엇보다 좋은 팀원들과 함께 프로젝트를 진행할 수 있었던 것이 가장 큰 행운이었다. 전처리, LangGraph, 프롬프트 엔지니어링 등 각자의 강점을 살려 프로젝트를 진행했고, 덕분에 결과물도 만족스럽게 완성할 수 있었다. 나는 아직 이해가 부족한 부분이 많다는 것도 느꼈다. 코드를 사용하는 것에서 끝나는 것이 아니라 왜 이런 방식으로 구현했는지까지 이해하는 과정이 더 필요하다는 생각이 들었다.

이제 곧 4차 프로젝트가 시작된다. 기대도 되지만 한편으로는 걱정도 크다. 이번 프로젝트를 통해 부족한 부분이 무엇인지 알게 된 만큼, 3차 프로젝트 코드를 다시 리뷰하며 동작 원리와 구현 과정을 제대로 이해해 다음 프로젝트에서는 맡은 역할 이상으로 기여할 수 있도록 준비해야겠다고 다짐했다.

 

📊 주간 회고

이번 주는 LLM을 직접 다루는 방법을 배우는 것에서 시작해 실제 프로젝트에 적용하는 과정까지 경험한 한 주였다. Ollama와 Hugging Face를 활용해 로컬 환경에서 오픈소스 LLM을 실행하고, LoRA 기반 파인튜닝과 LangGraph를 학습하며 AI 서비스가 만들어지는 흐름을 조금씩 이해할 수 있었다.

후반에는 3차 프로젝트를 진행하면서 강의에서 배운 내용을 실제 서비스에 적용해보는 시간을 가졌다. 특히 PDF 데이터 전처리, OCR, LLM 후처리, Vector DB 구축 과정에서 예상하지 못한 문제를 많이 겪었지만, 직접 해결해보면서 이론과 실무의 차이를 크게 느낄 수 있었다. 아직 이해가 부족한 부분도 많지만, 프로젝트를 통해 무엇을 더 공부해야 하는지가 명확해졌다는 점에서 의미 있는 한 주였다.

 

배운 기술을 실제 프로젝트에 적용하며, 부족한 부분과 앞으로 보완해야 할 방향을 확인한 한 주였다.

🔍 KPT 회고

Keep (유지할 점)

• 새로운 기술을 바로 프로젝트에 적용하며 직접 경험해본 점
• 문제를 해결하기 위해 여러 방법을 테스트하고 끝까지 시도한 점
• 팀원들과 적극적으로 소통하며 프로젝트를 진행한 점

Problem (보완할 점)

• 구현 중심 학습으로 인한 코드 동작 원리 이해 부족
• PDF 전처리 과정에서 페이지 간 문맥 연결 및 데이터 품질 고려 부족
• 기술 활용 원리 및 내부 구조에 대한 심화 학습 부족

Try (시도할 점)

• 3차 프로젝트 코드를 다시 리뷰하며 구현 이유와 동작 원리를 정리
• LangGraph와 파인튜닝 내용을 다시 복습하며 부족했던 개념 보완
• 4차 프로젝트에서는 구현뿐 아니라 설계 과정과 데이터 처리 방식까지 더 깊게 고민하며 개발