KISTI 발주 과제 · 인공지능 기반 공공 R&D 가치창출 플랫폼 (이후 SMART K2C)
과제 설계 KISTI 연구진 · 일부 모델 설계 대학 위탁연구 · 제 범위 비전인사이드 쪽 데이터 계층(수집·적재·서빙)을 구축·운영하고, 분석 모델을 FastAPI 서비스와 관리 화면으로 운영화
- 01소스
-
- 한 일
- Selenium 크롤러로 세분류 단위 수집. 모은 상품은 상품 ID(ASIN) 기준으로 중복 제거.
- 이후
- Rainforest API로 전환.
- 기술
- Selenium
- Rainforest API
-
- 한 일
- Selenium 크롤러로 카테고리 단위 수집.
- 기술
- Selenium
- BeautifulSoup
-
- 한 일
- 조달청 공공데이터포털 API 수집과 나라장터 크롤링.
- 기술
- REST API
- Python
-
- 02수집
-
- 한 일
- 노트북 여러 대에서 크롤러를 나눠 돌리고 결과를 원격 DB 1대에 적재하는 수집 환경을 구축·운영.
- 이유
- 수집 대상 사이트의 차단을 피하려고 나눠 돌렸습니다.
- 기술
- Python
- Selenium
- BeautifulSoup
- MySQL
-
- 한 일
- 조달청 공공데이터포털 API 수집기 개발. Amazon 수집을 Rainforest API로 옮기는 작업을 구현.
- 기술
- Python
- REST API
-
- 03저장
-
- 한 일
- 조달·다나와·Amazon 수집 결과를 중앙 MySQL에 적재.
- 기술
- MySQL
- SQLAlchemy
- pandas
-
- 04처리
-
- 한 일
- 모델 3: NTIS 과제–기업 키워드 매칭(SQL). 모델 4: 가격대별 K-means 클러스터링(군집 수는 Dunn index로 선택). 모델 5: 리뷰 요구 품질 키워드 추출 일일 배치(KeyBERT·Sentence-Transformers·Mecab). 조달청 가격·속성·납품 통계 SQL.
- 기술
- SQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
-
- 다른 주체
- 플랫폼 모델 일부는 대학 위탁연구팀(성균관대, 국민대)이 설계했습니다. 비전인사이드는 그 모델들이 쓰는 데이터와 서빙 계층을 맡았습니다.
-
- 05서빙
-
- 한 일
- 분석 모델을 FastAPI 서비스로 제공하고, 관리 화면(필터, 순차 배치 실행, 통합 검색, 엑셀 다운로드)을 개발.
- 기술
- FastAPI
- Jinja2
- Tabulator
-
- 한 일
- Java Spring 기반 프로토타입 웹에서 DB 스키마·백엔드 연동·프런트엔드 연결 담당. 협력사 모델 1·2와 함께 사내 서버로 이전하고 Docker 실행 환경을 구성.
- 함께한 주체
- 웹은 비전인사이드 사내 Java팀과 협업해 개발했고, 모델 1·2는 협력사가 만들었습니다.
- 기술
- Java
- Spring
- MySQL
- Docker
-
- 06사용자
-
- 다른 주체
- 과제는 KISTI가 발주하고 KISTI 연구진이 설계했습니다.
- 한 일
- KISTI 연구진과 정기 기술 회의에서 결과를 발표하고 데이터·코드 요청에 직접 대응. 감리 산출물(운영자 매뉴얼, 초기데이터구축완료보고서) 작성.
-
