SK네트웍스 Family AI 캠프 30기 15주차 회고

📅 데일리 학습

• 7월 6일 (월)

[64일차] 멀티모달 - 이미지

 

멀티모달 AI를 학습하면서 이미지와 텍스트를 함께 이해하는 모델의 동작 방식을 살펴봤다. 특히 CLIP은 이미지와 텍스트를 같은 임베딩 공간에 표현한 뒤 유사도를 비교하는 구조라는 점이 인상적이었다. 단순히 이미지를 분류하는 모델이 아니라 이미지 검색이나 추천 등 다양한 분야에 활용할 수 있다는 점도 알게 됐다. 결국 중요한 것은 이미지와 텍스트를 모델이 비교할 수 있는 벡터 형태로 변환하는 과정이라는 점을 다시 한번 느꼈다.

 

• 7월 7일 (화)

[65일차] 멀티모달 - 동영상

 

동영상에서 프레임을 추출하고, 해당 프레임을 설명하거나 검색에 활용하는 실습을 진행했다. 영상은 결국 이미지의 연속이기 때문에 필요한 장면을 얼마나 잘 추출하느냐가 이후 성능에 큰 영향을 준다는 점을 이해할 수 있었다. OCR도 함께 다루면서 이미지 속 문자를 추출한 뒤 번역이나 개인정보 비식별화까지 이어지는 전체 흐름을 학습했다. 특히 주민등록번호와 같은 민감한 정보는 단순히 인식하는 것보다 이후 안전하게 처리하는 과정이 더 중요하다는 점이 인상 깊었다.

• 7월 8일 (수)

[66일차] 멀티모달 - TTS, STT

 

음성 AI를 학습하며 TTS(Text-to-Speech)와 STT(Speech-to-Text)를 중심으로 실습했다. TTS는 텍스트를 음성으로 변환하고, STT는 음성을 텍스트로 변환하는 기술로 서로 반대 방향의 역할을 한다는 점을 이해했다. 두 기술을 함께 활용하면 음성 비서나 AI 상담 서비스 등 다양한 서비스를 구현할 수 있다는 점도 알게 되었고, 음성 AI를 활용한 새로운 아이디어를 만들어보고 싶다는 생각이 들었다.

 

• 7월 9일 (목)

[67일차] 멀티모달 - OmniVoice, Qwen3 TTS 

 

OmniVoice와 Qwen3 TTS를 활용해 보이스 디자인과 보이스 클로닝을 실습했다. 원하는 목소리를 직접 설계하거나 참고 음성을 기반으로 유사한 목소리를 생성할 수 있다는 점이 신기하게 느껴졌다. 기술의 발전 속도를 체감하는 동시에, 이러한 기술이 보이스피싱과 같은 범죄에도 악용될 수 있다는 점을 생각하니 더욱 조심해야겠다는 생각이 들었다.

 

• 7월 10일 (금)

[68일차] 화면구현

 

HTML 화면 구현을 복습하면서 평소 잘 사용하지 않았던 태그들을 직접 테스트해봤다. 화면을 만드는 것뿐만 아니라 문서의 구조를 고려해 적절한 HTML 태그를 사용하는 습관이 중요하다는 점을 다시 느꼈다. 또한 바이브 코딩(Vibe Coding)을 프론트엔드 개발에 어떻게 활용하면 생산성을 높일 수 있을지 고민해보는 시간을 가졌다. 남은 시간에는 SQL을 복습하며 자주 사용하는 문법과 헷갈렸던 내용을 다시 정리하면서 한 주를 마무리했다.

 

📊 주간 회고

이번 주는 텍스트 중심의 AI에서 한 단계 더 나아가 이미지, 영상, 음성까지 다루는 멀티모달 AI를 학습하며 AI가 다양한 형태의 데이터를 어떻게 이해하는지 전체적인 흐름을 살펴볼 수 있었다. CLIP을 통해 이미지와 텍스트를 같은 공간에서 비교하는 방식을 이해했고, 영상에서는 프레임 추출과 OCR을 활용해 필요한 정보를 얻고 후처리하는 과정도 경험했다.

음성 AI에서는 TTS와 STT뿐만 아니라 보이스 디자인과 보이스 클로닝까지 실습하면서 생성형 AI의 활용 범위가 생각보다 훨씬 넓다는 것을 느꼈다. 동시에 기술이 발전할수록 편리함뿐 아니라 개인정보 보호와 보안 문제도 함께 고려해야 한다는 점을 다시 한번 생각하게 됐다.

주 후반에는 HTML 화면 구현과 SQL 복습을 진행하며 AI뿐 아니라 기본적인 개발 역량도 함께 다지는 시간을 가졌다. 새로운 기술을 배우는 것도 중요하지만, 기존에 배운 내용을 꾸준히 복습하고 기초를 탄탄하게 만드는 것이 결국 개발 실력을 키우는 가장 좋은 방법이라는 점을 느낀 한 주였다.

 

AI 기술을 배우는 것에서 끝나는 것이 아니라, 다양한 데이터를 이해하고 실제 서비스로 연결하는 관점을 넓힐 수 있었던 한 주였다. 

🔍 KPT 회고

Keep (유지할 점)

• HTML·SQL 기초 학습 및 복습

Problem (보완할 점)

• 실습 및 구현 경험 부족
• 음성 AI 및 멀티모달 모델의 동작 원리 이해 부족

Try (시도할 점)

• OCR·TTS·STT 기반 서비스 구현 연습
• HTML·SQL 기본기 지속 학습 및 개발 역량 강화