公共R&Dプラットフォームのデータ層を
構築・運用しました
KISTI(韓国科学技術情報研究院)が発注し、KISTIの研究者が設計した「人工知能を用いた公共R&D価値創出プラットフォーム」(のちのSMART K2C)で、Vision Inside側のデータエンジニアとして収集・蓄積・提供を専任で担当しました。Amazon・Danawa(韓国の価格比較サイト)の商品データと調達庁(韓国)の調達データを集める収集環境から、分析モデルをFastAPIのサービスと管理画面にして運用に乗せるところまでを担いました。
アーキテクチャ
ソースから利用者まで、データが通る道です。ノードを押すと、そのノードを通る経路が強調され、その段階の作業と担当が表示されます。
自分で構築
共同で実装
他の担当者
外部ソース・利用者
- 01ソース
-
- 担当内容
- Seleniumのクローラーで細分類単位に収集。集めた商品は商品ID(ASIN)で重複除去。
- その後
- Rainforest APIに移行。
- 技術
- Selenium
- Rainforest API
-
- 担当内容
- Seleniumのクローラーで、Danawa(韓国の価格比較サイト)をカテゴリ単位で収集。
- 技術
- Selenium
- BeautifulSoup
-
- 担当内容
- 調達庁(韓国)の公共データポータルAPIからの収集と、ナラジャント(韓国の電子調達システム)のクローリング。
- 技術
- REST API
- Python
-
- 02収集
-
- 担当内容
- 複数台のノートPCでクローラーを分散して動かし、結果を1台のリモートDBに蓄積する収集環境を構築・運用。
- 理由
- 収集先サイトのブロックを避けるため、分散して動かしました。
- 技術
- Python
- Selenium
- BeautifulSoup
- MySQL
-
- 担当内容
- 調達庁の公共データポータルAPIの収集器を開発。Amazonの収集をRainforest APIに移す作業を実装。
- 技術
- Python
- REST API
-
- 03保存
-
- 担当内容
- 調達・Danawa・Amazonの収集結果を中央MySQLに蓄積。
- 技術
- MySQL
- SQLAlchemy
- pandas
-
- 04処理
-
- 担当内容
- モデル3:NTIS課題と企業のキーワードマッチング(SQL)。モデル4:価格帯ごとのK-meansクラスタリング(クラスタ数はDunn indexで選択)。モデル5:レビューから要求品質のキーワードを抽出する日次バッチ(KeyBERT・Sentence-Transformers・Mecab)。調達庁の価格・属性・納品の統計をSQLで作成。
- 技術
- SQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
-
- 他の担当
- プラットフォームのモデルの一部は、大学の委託研究チーム(成均館大学校、国民大学校)が設計しました。Vision Insideは、それらのモデルが使うデータと提供の層を担当しました。
-
- 05提供
-
- 担当内容
- 分析モデルをFastAPIのサービスとして提供し、管理画面(フィルター、バッチの順次実行、統合検索、Excelダウンロード)を開発。
- 技術
- FastAPI
- Jinja2
- Tabulator
-
- 担当内容
- Java SpringベースのプロトタイプWebで、DBスキーマ・バックエンド連携・フロントエンド接続を担当。協力会社のモデル1・2とあわせて社内サーバーに移設し、Dockerの実行環境を構成。
- 協業
- WebはVision Insideの社内Javaチームと協業して開発し、モデル1・2は協力会社が担当しました。
- 技術
- Java
- Spring
- MySQL
- Docker
-
- 06利用者
-
- 他の担当
- プロジェクトはKISTIが発注し、KISTIの研究者が設計しました。
- 担当内容
- KISTIの研究者との定例技術会議で結果を発表し、データやコードの依頼に直接対応。監理(公共ITプロジェクトの第三者検査)用の成果物(運用者マニュアル、初期データ構築完了報告書)を作成。
-
結果このプロジェクトは後続の本事業契約につながった会社のコードは公開できないため、構成だけを描いています
主な判断
データを整理した基準です。
商品ID(ASIN)による重複除去
- 問題
- 同じ商品が複数のカテゴリに同時に表示されるため、カテゴリごとに集めると重複していました。
- 結果
- 同じASINの商品を1つにまとめ、カテゴリ間の重複をなくしました。
担当範囲
プロジェクト全体ではなく、私が担当した部分を分けて書いています。
私が構築・運用したもの
- Amazon・DanawaのSeleniumクローラー、調達庁の公共データポータルAPIの収集器と、ナラジャント(韓国の電子調達システム)のクローリング
- 複数台のノートPCで動かし、1台のリモートDBに集める分散クローラー群と重複除去
- 中央MySQLへの蓄積(調達・Danawa・Amazonのデータ)
- 自作のモデル3・4・5:課題と企業のキーワードマッチング(SQL)、価格帯ごとのK-means(Dunn index)、KeyBERTによるレビューキーワードの日次バッチ。調達庁の統計SQL
- FastAPIのサービスと、Jinja2・Tabulatorの管理画面(フィルター、順次実行、統合検索、Excelダウンロード)
- Amazonの収集をRainforest APIに移す作業の実装
- Java SpringベースのKISTIプロトタイプWebで、DBスキーマ・バックエンド連携・フロントエンド接続を担当(社内Javaチームと協業)。協力会社のモデル1・2とあわせて社内サーバーに移設し、Docker実行環境を構成
- 監理用の成果物(運用者マニュアル、初期データ構築完了報告書)の作成、技術会議での結果発表と、データ・コードの依頼への対応
他の担当者が行ったこと
- KISTIの研究者 · プロジェクトの発注と設計
- 大学の委託研究チーム(成均館大学校、国民大学校) · プラットフォームのモデルの一部のアルゴリズム設計
- 協力会社 · モデル1・2
- 社内のJavaチーム · プロトタイプのWeb(Java Spring)を協業で開発
- 社内の他の担当者 · 議事録の作成と報告
進行の記録
進めた順に並べています。日付は開始と終了だけを記しています。
- 2022.08着手 · KISTIの研究者との定例技術会議結果の発表と、データ・コードの依頼に直接対応。
- Amazonの商品収集細分類単位で収集し、ASINで重複除去。
- 監理用の成果物を作成運用者マニュアル、初期データ構築完了報告書。
- 分散クローラー群の運用複数台のノートPCから1台のリモートDBに蓄積。
- KISTIのプロトタイプWeb · 社内への移設Java SpringベースのKISTIプロトタイプWebで、DBスキーマ・バックエンド連携・フロントエンド接続を担当(社内Javaチームと協業)。協力会社のモデル1・2とともに社内サーバーへ移し、Docker実行環境を構成。
- Rainforest APIへの移行を実装Amazonの収集経路を置き換え。
- 調達庁の統計SQL価格・属性・納品の統計。
- 2024.06受託業務の終了このプロジェクトは後続の本事業契約につながった。
公開範囲
コードとデータは会社と発注元の資産のため、公開していません。
- Python
- SQL
- Selenium
- BeautifulSoup
- pandas
- SQLAlchemy
- MySQL
- scikit-learn
- KeyBERT
- Sentence-Transformers
- Mecab
- FastAPI
- Jinja2
- Tabulator
- Java · Spring
- Docker
- Linux