이형주 Hyeongju Lee

공공 R&D 플랫폼의 데이터 계층을
구축·운영했습니다

KISTI가 발주하고 KISTI 연구진이 설계한 「인공지능 기반 공공 R&D 가치창출 플랫폼」(이후 SMART K2C)에서, 비전인사이드 쪽 데이터 엔지니어로 수집·적재·서빙을 전담했습니다. 쇼핑몰·조달 데이터를 모으는 수집 환경부터 분석 모델을 FastAPI 서비스와 관리 화면으로 운영화하는 일까지 맡았습니다.

기간
2022.08 – 2024.06비전인사이드 재직 · 외주 용역
역할
데이터 엔지니어수집·적재·서빙 전담
설계
KISTI 연구진일부 모델은 대학 위탁연구
결과
후속 본사업 계약으로 이어짐감리 산출물 작성 포함

아키텍처

소스에서 사용자까지 데이터가 지나가는 길입니다. 노드를 누르면 그 노드를 지나는 경로가 강조되고, 그 단계의 작업과 담당 주체가 나옵니다.

직접 구축 함께 구현 다른 주체 외부 소스·사용자
  1. 01소스
    • 한 일
      Selenium 크롤러로 세분류 단위 수집. 모은 상품은 상품 ID(ASIN) 기준으로 중복 제거.
      이후
      Rainforest API로 전환.
      기술
      • Selenium
      • Rainforest API
    • 한 일
      Selenium 크롤러로 카테고리 단위 수집.
      기술
      • Selenium
      • BeautifulSoup
    • 한 일
      조달청 공공데이터포털 API 수집과 나라장터 크롤링.
      기술
      • REST API
      • Python
  2. 02수집
    • 한 일
      노트북 여러 대에서 크롤러를 나눠 돌리고 결과를 원격 DB 1대에 적재하는 수집 환경을 구축·운영.
      이유
      수집 대상 사이트의 차단을 피하려고 나눠 돌렸습니다.
      기술
      • Python
      • Selenium
      • BeautifulSoup
      • MySQL
    • 한 일
      조달청 공공데이터포털 API 수집기 개발. Amazon 수집을 Rainforest API로 옮기는 작업을 구현.
      기술
      • Python
      • REST API
  3. 03저장
    • 한 일
      조달·다나와·Amazon 수집 결과를 중앙 MySQL에 적재.
      기술
      • MySQL
      • SQLAlchemy
      • pandas
  4. 04처리
    • 한 일
      모델 3: NTIS 과제–기업 키워드 매칭(SQL). 모델 4: 가격대별 K-means 클러스터링(군집 수는 Dunn index로 선택). 모델 5: 리뷰 요구 품질 키워드 추출 일일 배치(KeyBERT·Sentence-Transformers·Mecab). 조달청 가격·속성·납품 통계 SQL.
      기술
      • SQL
      • scikit-learn
      • KeyBERT
      • Sentence-Transformers
      • Mecab
    • 다른 주체
      플랫폼 모델 일부는 대학 위탁연구팀(성균관대, 국민대)이 설계했습니다. 비전인사이드는 그 모델들이 쓰는 데이터와 서빙 계층을 맡았습니다.
  5. 05서빙
    • 한 일
      분석 모델을 FastAPI 서비스로 제공하고, 관리 화면(필터, 순차 배치 실행, 통합 검색, 엑셀 다운로드)을 개발.
      기술
      • FastAPI
      • Jinja2
      • Tabulator
    • 한 일
      Java Spring 기반 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당. 협력사 모델 1·2와 함께 사내 서버로 이전하고 Docker 실행 환경을 구성.
      함께한 주체
      웹은 비전인사이드 사내 Java팀과 협업해 개발했고, 모델 1·2는 협력사가 만들었습니다.
      기술
      • Java
      • Spring
      • MySQL
      • Docker
  6. 06사용자
    • 다른 주체
      과제는 KISTI가 발주하고 KISTI 연구진이 설계했습니다.
      한 일
      KISTI 연구진과 정기 기술 회의에서 결과를 발표하고 데이터·코드 요청에 직접 대응. 감리 산출물(운영자 매뉴얼, 초기데이터구축완료보고서) 작성.
결과이 과제는 후속 본사업 계약으로 이어짐회사 코드는 공개할 수 없어 구조만 그렸습니다

주요 결정

데이터를 정리한 기준입니다.

  1. 상품 식별자(ASIN) 기준으로 중복 제거

    문제
    같은 상품이 여러 카테고리에 동시에 노출되어, 카테고리별로 모으면 겹쳤습니다.
    결과
    같은 ASIN을 가진 상품을 하나로 합쳐, 카테고리 사이의 중복을 없앴습니다.

책임 범위

과제 전체가 아니라, 제가 맡은 부분을 분리해 적었습니다.

제가 구축·운영한 것

  • Amazon·다나와 Selenium 크롤러, 조달청 공공데이터포털 API 수집기와 나라장터 크롤링
  • 여러 대의 노트북에서 돌리고 원격 DB 1대에 모으는 분산 크롤링 팜, 중복 제거
  • 중앙 MySQL 적재(조달·다나와·Amazon 데이터)
  • 직접 개발한 모델 3·4·5: 과제–기업 키워드 매칭(SQL), 가격대별 K-means(Dunn index), KeyBERT 리뷰 키워드 일일 배치. 조달청 통계 SQL
  • FastAPI 서비스와 Jinja2·Tabulator 관리 화면(필터, 순차 실행, 통합 검색, 엑셀 다운로드)
  • Amazon 수집의 Rainforest API 전환 구현
  • Java Spring 기반 KISTI 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당 (사내 Java팀과 협업). 협력사 모델 1·2와 함께 사내 서버로 이전하고 Docker 실행 환경 구성
  • 감리 산출물(운영자 매뉴얼, 초기데이터구축완료보고서) 작성, 기술 회의 결과 발표와 데이터·코드 요청 대응

다른 주체가 한 것

  • KISTI 연구진 · 과제 발주와 설계
  • 대학 위탁연구팀(성균관대, 국민대) · 플랫폼 모델 일부의 알고리즘 설계
  • 협력사 · 모델 1·2
  • 사내 Java팀 · 프로토타입 웹(Java Spring) 협업 개발
  • 사내 다른 담당자 · 회의록 작성과 보고

진행 기록

과제를 진행한 순서입니다. 날짜는 시작과 끝만 적었습니다.

  1. 2022.08
    착수 · KISTI 연구진과 정기 기술 회의결과 발표와 데이터·코드 요청에 직접 대응.
  2. Amazon 상품 수집세분류 단위로 수집하고 ASIN 기준으로 중복 제거.
  3. 감리 산출물 작성운영자 매뉴얼, 초기데이터구축완료보고서.
  4. 분산 크롤링 팜 운영여러 대의 노트북이 원격 DB 1대에 적재.
  5. KISTI 프로토타입 웹 · 사내 이전Java Spring 기반 KISTI 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당(사내 Java팀과 협업). 협력사 모델 1·2와 함께 사내 서버로 옮기고 Docker 실행 환경 구성.
  6. Rainforest API 전환 구현Amazon 수집 경로 교체.
  7. 조달청 통계 SQL가격·속성·납품 통계.
  8. 2024.06
    용역 종료이 과제는 후속 본사업 계약으로 이어짐.

공개 범위

코드와 데이터는 회사와 발주처 자산이라 공개하지 않습니다.

  • Python
  • SQL
  • Selenium
  • BeautifulSoup
  • pandas
  • SQLAlchemy
  • MySQL
  • scikit-learn
  • KeyBERT
  • Sentence-Transformers
  • Mecab
  • FastAPI
  • Jinja2
  • Tabulator
  • Java · Spring
  • Docker
  • Linux
연락

채용·협업 문의는 이메일로 받습니다.

데이터 엔지니어링, 백엔드, 비전 데이터 파이프라인 직무를 찾고 있습니다.

2027년 3월 석사 졸업 예정