KISTI発注案件・人工知能を用いた公共R&D価値創出プラットフォーム(のちのSMART K2C)
プロジェクトの設計 KISTIの研究者 · 一部モデルの設計 大学の委託研究 · 私の担当範囲 Vision Inside側のデータ層(収集・蓄積・提供)の構築・運用と、分析モデルをFastAPIのサービスと管理画面にして運用に乗せること
- 01ソース
-
- 担当内容
- Seleniumのクローラーで細分類単位に収集。集めた商品は商品ID(ASIN)で重複除去。
- その後
- Rainforest APIに移行。
- 技術
- Selenium
- Rainforest API
-
- 担当内容
- Seleniumのクローラーで、Danawa(韓国の価格比較サイト)をカテゴリ単位で収集。
- 技術
- Selenium
- BeautifulSoup
-
- 担当内容
- 調達庁(韓国)の公共データポータルAPIからの収集と、ナラジャント(韓国の電子調達システム)のクローリング。
- 技術
- REST API
- Python
-
- 02収集
-
- 担当内容
- 複数台のノートPCでクローラーを分散して動かし、結果を1台のリモートDBに蓄積する収集環境を構築・運用。
- 理由
- 収集先サイトのブロックを避けるため、分散して動かしました。
- 技術
- Python
- Selenium
- BeautifulSoup
- MySQL
-
- 担当内容
- 調達庁の公共データポータルAPIの収集器を開発。Amazonの収集をRainforest APIに移す作業を実装。
- 技術
- Python
- REST API
-
- 03保存
-
- 担当内容
- 調達・Danawa・Amazonの収集結果を中央MySQLに蓄積。
- 技術
- MySQL
- SQLAlchemy
- pandas
-
- 04処理
-
- 担当内容
- モデル3:NTIS課題と企業のキーワードマッチング(SQL)。モデル4:価格帯ごとのK-meansクラスタリング(クラスタ数はDunn indexで選択)。モデル5:レビューから要求品質のキーワードを抽出する日次バッチ(KeyBERT・Sentence-Transformers・Mecab)。調達庁の価格・属性・納品の統計をSQLで作成。
- 技術
- SQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
-
- 他の担当
- プラットフォームのモデルの一部は、大学の委託研究チーム(成均館大学校、国民大学校)が設計しました。Vision Insideは、それらのモデルが使うデータと提供の層を担当しました。
-
- 05提供
-
- 担当内容
- 分析モデルをFastAPIのサービスとして提供し、管理画面(フィルター、バッチの順次実行、統合検索、Excelダウンロード)を開発。
- 技術
- FastAPI
- Jinja2
- Tabulator
-
- 担当内容
- Java SpringベースのプロトタイプWebで、DBスキーマ・バックエンド連携・フロントエンド接続を担当。協力会社のモデル1・2とあわせて社内サーバーに移設し、Dockerの実行環境を構成。
- 協業
- WebはVision Insideの社内Javaチームと協業して開発し、モデル1・2は協力会社が担当しました。
- 技術
- Java
- Spring
- MySQL
- Docker
-
- 06利用者
-
- 他の担当
- プロジェクトはKISTIが発注し、KISTIの研究者が設計しました。
- 担当内容
- KISTIの研究者との定例技術会議で結果を発表し、データやコードの依頼に直接対応。監理(公共ITプロジェクトの第三者検査)用の成果物(運用者マニュアル、初期データ構築完了報告書)を作成。
-
