SEOYEON OH / AI PORTFOLIO

현장의 문제를 이해하고,
실제로 쓰이는
AI를 만듭니다.

도메인의 맥락을 기술로 풀어내는 오서연입니다.
이커머스의 대화형 AI와 콘텐츠 생성부터 금융 LLM의 개발과 운영까지,
사용자의 요구를 구체적인 기능으로 만들고 검증해 왔습니다.

01 / EXPERIENCE

현장에서 배운 AI

기술을 적용하는 일에서,
안정적으로 활용하는 일까지.

한국산업은행Korea Development Bank

2026.06 — 2026.08

한국산업은행

AI디지털전략부 인턴
AI개발팀 | AI데이터팀

LLM OperationsKnowledge Engineering
01

현업 검증을 거친 업무별 AI Assistant 개발

공문 초안, 산업분석 요약, 여신승인신청서 종합의견, 문체 변환을 위한 시스템 프롬프트를 설계했습니다. 여신 업무의 RM과 CO 역할을 구분하고, 지점 실무자 피드백으로 고도화한 종합의견 생성 기능은 사내 LLM 서비스에 배포되었습니다.

System PromptDomain AnalysisUser Feedback서비스 배포
02

LLM 사용 목적별 모니터링 대시보드 개선

서버 단위로 집계되던 vLLM 지표를 사용 목적별로 재구성했습니다. 토큰 및 요청 처리량과 응답 지연(TTFT, TPOT, E2E)의 p95를 함께 살펴볼 수 있도록 Grafana 대시보드를 개선했습니다.

vLLMGrafanaPrometheusPromQL
03

은행 규정 LLM Wiki PoC 검증

규정을 구조화된 지식으로 전환하는 과정에서 모델별 산출물, 문서 개정 처리, 엔티티 구성 방식을 비교했습니다. 원본 충실성과 출처 추적, 반복 실행의 일관성을 검증 기준으로 삼았습니다.

LLM EvaluationMarkdown / YAMLSchema Design
어떤 문제를 발견하고, 어떻게 접근했나요?
문서 분석에서 역할별 업무 설계로

참고 문서에서 여신승인신청서의 종합의견 생성 과제를 발굴하고, 여신 교재 6권과 작성 가이드라인을 학습했습니다. RM과 CO의 관점 차이를 반영해 역할별 Assistant를 설계했으며, 원문 보존, 범위 제한, 적합한 Assistant 안내를 프롬프트에 반영했습니다.

완성도를 높인 것은 현업 피드백

테스트케이스로 프롬프트를 조정한 뒤 지점 실무자의 검토를 받았습니다. 문서상 작성 방식과 현장 관행의 차이를 확인하고, 서술 형식과 재무제표 기준에 대한 의견을 반영해 최종본을 개선했습니다.

운영 지표를 읽는 기준

Counter와 Gauge의 특성에 맞춰 집계를 구분하고, 평균에 가려지는 느린 요청을 보기 위해 지연의 p95를 시각화했습니다. 트래픽 증가와 사용자 체감 성능을 함께 확인하는 운영 관점을 정리했습니다.

모델 성능과 지식 구조를 함께 검증

동일한 샘플을 사용해 모델별 필수 섹션 누락, 깨진 링크, 원본에 없는 내용 생성을 비교했습니다. 개정 실험에서는 규칙 ID 재사용과 삭제된 예외의 이력 추적 문제를 확인했습니다.

단일 실험의 결론을 확장 실험으로 확인

직급 중심과 업무 중심의 엔티티 구성을 5개 업무 영역에 걸쳐 비교했습니다. 업무 중심 구조의 장점은 세분화 기준이 명확할 때 유지된다는 조건을 도출하고, 형식 검증과 의미 검증을 분리하는 방안을 제안했습니다.

LLM Wiki 내용은 인턴 개인 PoC의 실험, 비교 결과입니다. 운영 반영 여부와 정량적 성능 개선 수치는 별도로 주장하지 않습니다.

이화여자대학교IMLab

2024.04 — 2025.08

이화여자대학교
정보경영연구실

Information Management Lab

학부연구생 및 외부연구원 / 산학 협력 과제
대화형 AI에서 이커머스 콘텐츠 생성까지

Conversational Recommendation SystemRAGImage Generation서비스 반영
01

2024.04 — 2024.10 / 4인 팀

고객의 실시간 쇼핑 상태를 반영하는 가상 휴먼 대화 엔진 (AI Sales Assistant)

고객 행동과 대화 맥락을 반영하는 가상 휴먼 대화 엔진에서 QA와 추천 모듈, 통합 API 설계를 담당했습니다. 상품명, 의도, 속성을 분리해 검색하는 RAG 흐름을 구성하고, 지식 그래프와 최근 행동 데이터를 활용해 비선호 상품을 걸러내고 추천 이유를 제공했습니다.

상품 상세페이지에서 누락된 속성을 추출하고 정규화해 결측 비율을 68%에서 17%로 낮췄습니다. 일반 대화, QA, 추천 모듈은 FastAPI로 통합했습니다.

LangChainFAISSKnowledge GraphFastAPI
02

2024.08 — 2024.10 / 단독 개발

온라인 셀러를 위한 AI 글쓰기 서비스

QA 답변의 말투 실험에서 출발해 온라인 셀러의 상품 설명문을 생성하는 서비스를 단독 개발했습니다. 말투별 세부 지시문과 예시 문장을 설계해 생성 문체의 편차를 줄였으며, 상용 서비스에 적용되어 상품 설명문 작성을 자동화했습니다.

Prompt EngineeringBrand Voice상용 서비스 적용
03

2025.05 — 2025.08 / 4인 팀

패션 이커머스 상세페이지 자동 생성 서비스

의류 사진으로 입체적인 상품 이미지를 만드는 상세페이지 자동 생성 과제에 참여했습니다. VLM으로 패턴과 주름 등 속성을 추출해 프롬프트를 구성하고, 앞면과 옆면, 뒷면의 일관성을 고려하는 생성 파이프라인을 개발했습니다.

LLM 기반 루브릭 평가와 SSIM, LPIPS, CLIPScore를 결합해 품질을 평가하고, 기준 미달 시 평가 이유를 프롬프트 수정과 재생성에 연결했습니다.

Runway Gen-4VLMLLM-as-a-JudgeImage Evaluation
연구 결과를 서비스로 연결한 과정
고객 질문과 상품 데이터를 같은 구조로 연결

패션 상품의 색상, 핏, 소재 등 누락된 속성을 추출하고 TTA 속성 체계에 맞춰 정규화했습니다. QA에서는 상품명과 질문 의도를 먼저 파악하고, 상품 정보와 문의 데이터를 검색해 질문에 맞는 답변을 생성하도록 구성했습니다.

추천과 대화를 하나의 서비스로 통합

고객의 비선호 속성을 지식 그래프 필터링에 반영하고, 최근 행동을 바탕으로 추천 후보를 좁혔습니다. 의도별 모듈 라우팅, UUID 기반 세션과 대화 기록 관리, Streamlit 데모 UI를 갖춘 통합 API로 연결했습니다.

생성 결과의 일관성을 평가 가능한 기준으로 전환

글쓰기에서는 브랜드의 말투를 지시문과 예시로 구체화했습니다. 이미지 생성 과제에서는 패턴 묘사와 여러 시점의 일관성을 프롬프트에 반영하고, 의미와 속성의 일치 여부 및 완성도 평가를 재생성 과정에 연결했습니다. 산학 협력 과제의 결과물은 협력사의 실제 서비스에 반영되었습니다.

02 / SELECTED PROJECTS

질문에서 시작한 프로젝트

모든 Repository

미래에셋증권

2026.08 — 2026.09미래에셋증권 AI Festival / 3인 팀 프로젝트

제출 완료 / 결과 대기

연금 AI Agent / 연금꿀사

제공 문서를 근거로 연금 제도, 세제, 펀드 비교 질문에 답하는 상담 Agent입니다. 금융 분야 팀원 2명과 협업하며 데이터 파이프라인, RAG, 검수 도구, 평가와 서버 배포까지 기술 설계와 구현을 총괄했습니다.

PythonHyperCLOVA XHybrid RAGDockerNginxNCP
58 → 358원본 문서 → 검색 청크
100구조화한 펀드 데이터
93.8%내부 근거 문서 Hit@5
구현과 서버 구축 자세히 보기 +

원문을 보존하는 검색 파이프라인

모델은 분할 위치를 계획하고 코드는 원문을 추출하는 앵커 청킹을 적용했습니다. BM25와 임베딩 검색을 RRF로 결합하고, 계산 결과와 인용 근거를 검증하는 단일 턴 상담 흐름을 구현했습니다.

비개발 팀원이 참여할 수 있는 검수 도구

원문과 청크를 대조하며 문제를 표시하고 저장할 수 있는 웹 검수 도구를 만들었습니다. 팀원들이 작성한 질문과 검수 의견을 데이터 개선 및 평가에 연결했습니다.

클라우드 서버 구축과 배포

Python HTTP API 서버를 Docker로 패키징해 NCP Ubuntu 서버에 배포하고, Nginx를 역방향 프록시로 구성했습니다. 로그 보존과 자동 재시작을 설정하고, 외부에서 상태 조회와 답변 API 호출을 검증하고, 서버 재부팅 후 복구까지 확인했습니다.

평가 범위

팀이 만든 438문항 중 검색 채점 대상 419문항에서 근거 문서 Hit@5 93.8%를 기록했습니다. 내부 평가와 상품 회귀를 합친 459건의 E2E 실행 기록도 확보했습니다. Hit@5는 상위 5개 검색 결과의 근거 문서 포함률이며, 최종 답변 정확도나 공모전 공식 심사 점수가 아닙니다.

제10회 2026 미래에셋증권 AI Festival 연금 부문 / 2026.09.06 제출

FIN:NECTFIN:NECT 챌린지 서울 지역예선 통과

2026.03 — 2026.06BITAmin 팀 프로젝트

멀티에이전트 교차 토론 기반 데일리 주식 시황 브리핑 시스템

2026 FIN:NECT 챌린지 입선

같은 시장을 보는 두 가지 관점. 시장 데이터에 기반한 Bull과 Bear의 교차 토론을 투자 브리핑으로 전달하는 시스템입니다.

PythonLLM AgentsStreamlit
프로젝트 자세히 보기 +

거시경제, 섹터, 시장 심리 데이터를 통합하고, 2라운드 토론으로 주장과 반박을 구성합니다. 논거와 신호 강도를 대시보드에서 확인할 수 있으며, 금융 뉴스 번역과 투자 퀴즈 기능을 포함합니다. 자동 주문 기능이 없는 브리핑 도구입니다. BITAmin 팀 프로젝트로 개발한 시스템을 FIN:NECT 챌린지에 출품했으며, 2026년 챌린지에서 입선했습니다.

Repository 보기 ↗
BITAmin 심벌BITAmin

2026.01 — 2026.03BITAmin 프로젝트

한국형 액티브 ETF 종목 선정 및 백테스팅 시스템 개발

수급 데이터를 투자 가설로, 가설을 검증 가능한 실험으로. 외국인과 기관 순매수 기반 종목 선정과 백테스팅 시스템입니다.

pandasBacktestingPlotly
프로젝트 자세히 보기 +

리밸런싱 주기, 수급 신호, 비중 방식, 가격 기준을 바꿔 비교하는 실험을 구성합니다. Streamlit 대시보드에서 NAV, 종목 구성, 최대 낙폭과 샤프 비율 등 성과 지표를 확인할 수 있습니다.

Repository 보기 ↗
서울여자대학교

2023.07 — 2023.08서울여자대학교 Programming GURU2 Android 해커톤 / 4인 팀 / PM

VegeVision

농산물 신선도를 분류하는 Android 앱입니다. PM 겸 팀 대표로 Kotlin 앱 개발, 딥러닝 모델과 Firebase 연동을 담당했으며, 2023 서울여자대학교 Programming GURU2 Android 해커톤에서 장려상을 수상했습니다.

Kotlin딥러닝DB장려상
프로젝트 자세히 보기 +

PM으로 개발과 UI 작업을 하나의 앱으로 통합

4인 팀의 PM 겸 대표로 참여했습니다. UI 작업이 완성되기 전에 핵심 기능을 구현하고, 팀원들의 화면 작업을 통합하며 사진 입력부터 결과 확인까지의 흐름을 완성했습니다. 병합 충돌을 해결하고 화면과 변수의 명명 규칙을 정리했으며, README에 팀별 역할과 기능별 코드 및 Wiki 링크를 문서화했습니다.

모델 학습부터 Android 추론까지 구현

MobileNetV2 전이학습으로 신선한 농산물과 부패한 농산물을 구분하는 모델을 학습하고 TensorFlow Lite로 변환했습니다. 카메라와 갤러리에서 가져온 이미지를 224×224 크기로 처리한 뒤 앱에서 추론하고 분류 결과를 표시하도록 연결했습니다.

실제 사용 흐름의 오류를 정리

Firebase 기반 로그인과 회원가입, 로그인 상태 저장을 구현했습니다. 입력 누락과 비밀번호 오류, 카메라 권한 거부 안내를 보완하고 화면 전환 및 결과 페이지의 오류를 수정했습니다. 개발과 UI를 통합한 앱으로 해커톤 장려상을 수상했습니다.

Repository 보기 ↗
국토교통부

2023.07 — 2023.10팀 아이들 / 객체 탐지 모델 개발

자율주행 인공지능 알고리즘 개발 챌린지

한국교통안전공단이 주최하고 국토교통부가 주관한 대회에서 주행 영상의 차량과 보행자를 탐지하는 모델 개발을 담당했습니다. 팀 학습 계획과 PyTorch 기반 YOLOv4 구현을 바탕으로 3등 장려상을 수상했습니다.

Autonomous Driving팀 프로젝트장려상
프로젝트 자세히 보기 +

처음 접하는 분야를 함께 학습하는 구조 설계

팀 전원이 영상 인식 경험이 없는 상태에서 시작했습니다. 한 달간 논문과 공개 구현 사례를 함께 읽는 학습 계획표를 제안하고, 각자의 학습 내용을 같은 양식으로 정리해 공유하며 팀의 공통 기반을 만들었습니다.

데이터 선별과 객체 탐지 모델 구현

제공된 주행 이미지 10만 장과 해당 레이블에서 1만 장을 선별하고, PyTorch로 YOLOv4 기반 2D Bounding Box 객체 탐지 모델을 구현했습니다. 차량과 보행자의 탐지 정확도를 높이기 위해 매일 개선 방법을 논의하고 실험을 반복했습니다.

근거를 확인하는 학습과 실험으로 3등 장려상

논문과 구현 사례를 끝까지 읽고 적용 근거를 확인하며 모델을 개선했습니다. 처음 접한 분야에서 팀 학습과 반복 실험을 이어가 3등 장려상을 수상했습니다.

공모전 안내 보기 ↗

03 / PUBLICATIONS

연구로 남긴 질문들

Google Scholar ↗
  1. 2025.02

    HCI KOREA / pp. 1187–1192

    Grad-CAM++와 Activation Map을 활용한
    한국인 여성 중심 딥페이크 탐지 특징 분석 ↗

    한국인 여성 얼굴을 중심으로 딥페이크 탐지 모델의 판단 근거를 분석했습니다. Grad-CAM++와 Activation Map을 활용해 모델이 주목하는 영역을 비교한 공동 연구입니다.

    Repository 보기 ↗

    김규리, 김세인, 오서연, 조유라, 최다예, 최덕우, 최예림

  2. 2024.11

    대한전자공학회 추계학술대회 / pp. 665–669

    환자 메타데이터를 활용한 호흡 및 음성 소리의
    대조 학습을 통한 SARS-CoV-2 양음성 및 중증도 진단 ↗

    호흡, 음성 및 환자 메타데이터를 결합한 대조 학습으로 COVID-19 양음성과 중증도 분류를 탐구했습니다. 제1저자로 참여한 연구입니다.

    Repository 보기 ↗

    오서연, 김다영, 김예린

04 / ABOUT ME

문제를 구체화하고,
끝까지 구현합니다.

업무의 맥락부터 이해합니다

한국산업은행에서는 여신 업무의 역할과 작성 관행을 학습하고, 지점 실무자의 피드백을 AI Assistant 설계에 반영했습니다.

동료가 함께 개선할 수 있게 만듭니다

연금 AI Agent에서는 금융 분야 팀원들이 원문과 검색 청크를 직접 대조하고 의견을 남길 수 있는 검수 도구를 만들었습니다.

구현 이후의 품질까지 살핍니다

생성 결과의 평가와 재생성, 검색 근거 검증, 서버 배포와 모니터링까지 사용 과정에서 필요한 기능을 함께 설계합니다.

함께 사용하는 도구들

Languages & DataPython, Kotlin, pandas, scikit-learn, Firebase, Knowledge Graph

Deep Learning & Computer VisionPyTorch, TensorFlow, TensorFlow Lite, MobileNetV2, YOLOv4, Grad-CAM++

LLM & RetrievalLangChain, FAISS, BM25, RRF, Hybrid RAG, HyperCLOVA X, Prompt Engineering

Generation & EvaluationRunway Gen-4, VLM, LLM-as-a-Judge, SSIM, LPIPS, CLIPScore

Application & DeploymentFastAPI, Streamlit, Android Studio, Docker, Nginx, NCP, Linux, Git

Monitoring & VisualizationvLLM, Grafana, Prometheus, PromQL, Plotly

활동

2026.01 — 2026.06

연합 빅데이터분석 동아리 비타민(BITAmin)

금융 데이터와 AI 프로젝트 활동

2024.04 — 2025.08

이화여자대학교 정보경영연구실

Information Management Lab
학부연구생 및 외부연구원

2023.08 — 2025.02

인공지능 프로젝트 팀 다이브(daiv)

AI 연구와 프로젝트 활동
우수 동아리원 상 2회 수상
우수 프로젝트 상 수상

수상

2026

FIN:NECT 챌린지 입선팀 BITAmin D

2023

자율주행 인공지능 알고리즘 개발 챌린지 3등 장려상팀 아이들

2023

GURU2 Android 해커톤 장려상팀 베지비전

2022

GURU1 Python/HTML 해커톤 장려상개인

LET'S CONNECT

더 나은 AI를 만드는
이야기를 나누고 싶습니다.