공공 R&D 플랫폼의 데이터 계층을
구축·운영했습니다
KISTI가 발주하고 KISTI 연구진이 설계한 「인공지능 기반 공공 R&D 가치창출 플랫폼」(이후 SMART K2C)에서, 비전인사이드 쪽 데이터 엔지니어로 수집·적재·서빙을 전담했습니다. 쇼핑몰·조달 데이터를 모으는 수집 환경부터 분석 모델을 FastAPI 서비스와 관리 화면으로 운영화하는 일까지 맡았습니다.
아키텍처
소스에서 사용자까지 데이터가 지나가는 길입니다. 노드를 누르면 그 노드를 지나는 경로가 강조되고, 그 단계의 작업과 담당 주체가 나옵니다.
직접 구축
함께 구현
다른 주체
외부 소스·사용자
- 01소스
-
- 한 일
- Selenium 크롤러로 세분류 단위 수집. 모은 상품은 상품 ID(ASIN) 기준으로 중복 제거.
- 이후
- Rainforest API로 전환.
- 기술
- Selenium
- Rainforest API
-
- 한 일
- Selenium 크롤러로 카테고리 단위 수집.
- 기술
- Selenium
- BeautifulSoup
-
- 한 일
- 조달청 공공데이터포털 API 수집과 나라장터 크롤링.
- 기술
- REST API
- Python
-
- 02수집
-
- 한 일
- 노트북 여러 대에서 크롤러를 나눠 돌리고 결과를 원격 DB 1대에 적재하는 수집 환경을 구축·운영.
- 이유
- 수집 대상 사이트의 차단을 피하려고 나눠 돌렸습니다.
- 기술
- Python
- Selenium
- BeautifulSoup
- MySQL
-
- 한 일
- 조달청 공공데이터포털 API 수집기 개발. Amazon 수집을 Rainforest API로 옮기는 작업을 구현.
- 기술
- Python
- REST API
-
- 03저장
-
- 한 일
- 조달·다나와·Amazon 수집 결과를 중앙 MySQL에 적재.
- 기술
- MySQL
- SQLAlchemy
- pandas
-
- 04처리
-
- 한 일
- 모델 3: NTIS 과제–기업 키워드 매칭(SQL). 모델 4: 가격대별 K-means 클러스터링(군집 수는 Dunn index로 선택). 모델 5: 리뷰 요구 품질 키워드 추출 일일 배치(KeyBERT·Sentence-Transformers·Mecab). 조달청 가격·속성·납품 통계 SQL.
- 기술
- SQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
-
- 다른 주체
- 플랫폼 모델 일부는 대학 위탁연구팀(성균관대, 국민대)이 설계했습니다. 비전인사이드는 그 모델들이 쓰는 데이터와 서빙 계층을 맡았습니다.
-
- 05서빙
-
- 한 일
- 분석 모델을 FastAPI 서비스로 제공하고, 관리 화면(필터, 순차 배치 실행, 통합 검색, 엑셀 다운로드)을 개발.
- 기술
- FastAPI
- Jinja2
- Tabulator
-
- 한 일
- Java Spring 기반 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당. 협력사 모델 1·2와 함께 사내 서버로 이전하고 Docker 실행 환경을 구성.
- 함께한 주체
- 웹은 비전인사이드 사내 Java팀과 협업해 개발했고, 모델 1·2는 협력사가 만들었습니다.
- 기술
- Java
- Spring
- MySQL
- Docker
-
- 06사용자
-
- 다른 주체
- 과제는 KISTI가 발주하고 KISTI 연구진이 설계했습니다.
- 한 일
- KISTI 연구진과 정기 기술 회의에서 결과를 발표하고 데이터·코드 요청에 직접 대응. 감리 산출물(운영자 매뉴얼, 초기데이터구축완료보고서) 작성.
-
결과이 과제는 후속 본사업 계약으로 이어짐회사 코드는 공개할 수 없어 구조만 그렸습니다
주요 결정
데이터를 정리한 기준입니다.
상품 식별자(ASIN) 기준으로 중복 제거
- 문제
- 같은 상품이 여러 카테고리에 동시에 노출되어, 카테고리별로 모으면 겹쳤습니다.
- 결과
- 같은 ASIN을 가진 상품을 하나로 합쳐, 카테고리 사이의 중복을 없앴습니다.
책임 범위
과제 전체가 아니라, 제가 맡은 부분을 분리해 적었습니다.
제가 구축·운영한 것
- Amazon·다나와 Selenium 크롤러, 조달청 공공데이터포털 API 수집기와 나라장터 크롤링
- 여러 대의 노트북에서 돌리고 원격 DB 1대에 모으는 분산 크롤링 팜, 중복 제거
- 중앙 MySQL 적재(조달·다나와·Amazon 데이터)
- 직접 개발한 모델 3·4·5: 과제–기업 키워드 매칭(SQL), 가격대별 K-means(Dunn index), KeyBERT 리뷰 키워드 일일 배치. 조달청 통계 SQL
- FastAPI 서비스와 Jinja2·Tabulator 관리 화면(필터, 순차 실행, 통합 검색, 엑셀 다운로드)
- Amazon 수집의 Rainforest API 전환 구현
- Java Spring 기반 KISTI 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당 (사내 Java팀과 협업). 협력사 모델 1·2와 함께 사내 서버로 이전하고 Docker 실행 환경 구성
- 감리 산출물(운영자 매뉴얼, 초기데이터구축완료보고서) 작성, 기술 회의 결과 발표와 데이터·코드 요청 대응
다른 주체가 한 것
- KISTI 연구진 · 과제 발주와 설계
- 대학 위탁연구팀(성균관대, 국민대) · 플랫폼 모델 일부의 알고리즘 설계
- 협력사 · 모델 1·2
- 사내 Java팀 · 프로토타입 웹(Java Spring) 협업 개발
- 사내 다른 담당자 · 회의록 작성과 보고
진행 기록
과제를 진행한 순서입니다. 날짜는 시작과 끝만 적었습니다.
- 2022.08착수 · KISTI 연구진과 정기 기술 회의결과 발표와 데이터·코드 요청에 직접 대응.
- Amazon 상품 수집세분류 단위로 수집하고 ASIN 기준으로 중복 제거.
- 감리 산출물 작성운영자 매뉴얼, 초기데이터구축완료보고서.
- 분산 크롤링 팜 운영여러 대의 노트북이 원격 DB 1대에 적재.
- KISTI 프로토타입 웹 · 사내 이전Java Spring 기반 KISTI 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당(사내 Java팀과 협업). 협력사 모델 1·2와 함께 사내 서버로 옮기고 Docker 실행 환경 구성.
- Rainforest API 전환 구현Amazon 수집 경로 교체.
- 조달청 통계 SQL가격·속성·납품 통계.
- 2024.06용역 종료이 과제는 후속 본사업 계약으로 이어짐.
공개 범위
코드와 데이터는 회사와 발주처 자산이라 공개하지 않습니다.
- Python
- SQL
- Selenium
- BeautifulSoup
- pandas
- SQLAlchemy
- MySQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
- FastAPI
- Jinja2
- Tabulator
- Java · Spring
- Docker
- Linux