公開リファレンスで
ゲノム変異をアノテーションするシステム
個人のゲノム変異(VCF、チップアレイ)を公開リファレンスと結び付け、疾患・形質のリスク、集団ごとの頻度、関連する医薬品・韓方生薬の情報を提供するシステムです。分析のアルゴリズムは社内でチームリーダーと共同で設計し、パイプライン・バックエンド・フロントエンドの実装とデプロイは私が行いました。慶熙大学校 韓医科大学(韓国)とカナダのバイオ研究所が参加した国際共同プロジェクトでした。
SQL結合によるアノテーション4段階位置・塩基またはrsIDで、リファレンスを順に結合
1000 Genomes26集団アレル頻度の比較
デプロイDocker· HarborKorea IDCの本番サーバー、プライベートレジストリを自分で構築
アーキテクチャ
入力からレポートAPIまでの流れです。ノードを押すと、そのノードを通る経路と担当が表示されます。
自分で実装
共同で担当
他の担当者
入力・外部データ
- 01入力
-
- 入力
- シーケンシングの生データ(FASTQ)。変異検出パイプラインの入力です。
-
- 入力
- 顧客がアップロードするVCFファイル、または遺伝子チップ(アレイ)の結果ファイル。
-
- データ
- dbSNP(GRCh37、GRCh38)、1000 Genomes、GWAS Catalog、UniProt。
-
- 02処理
-
- 担当内容
- FASTQ → BWA → samtools → Picard → GATK → VCFのパイプラインを実装。
- 他の担当
- パイプラインのアルゴリズムは、社内でチームリーダーと共同で設計しました。
- 技術
- BWA
- samtools
- Picard
- GATK
-
- 担当内容
- 顧客のVCF・チップ(アレイ)の入力をPyVCFで読み込み、アノテーションに使う入力テーブルに整理。チップの入力は、rsIDを使ってdbSNPから位置キーを引きます。
- 技術
- PyVCF
- Python
-
- 03保存
-
- 担当内容
- dbSNP、1000 Genomes、GWAS Catalog、UniProtをMySQLに構築。染色体単位でファイルを分割し(sed、split)、pandasのチャンクとSQLAlchemyで少しずつ蓄積。
- 技術
- MySQL
- pandas
- SQLAlchemy
- sed · split
-
- 04アノテーション
-
- 担当内容
- dbSNP・1000 Genomesは染色体・位置・REF・ALTのキーで、GWAS CatalogはrsIDとリスクアレルで、UniProtは変異IDとアレルで結合する4段階のSQL結合。GWASのオッズ比・β値に基づくルールベースのリスクスコア、1000 Genomesの26集団のアレル頻度の比較、疾患ごとの医薬品・韓方生薬の情報(MedlinePlus、MeSH、ATC、PharmDB-K、OASIS)とのひも付け。
- 補足
- 疾患と韓方薬を結ぶLDA・1D-CNNのモデルは、プロトタイプの実験にとどまりました。
- 技術
- SQL
- MySQL
- Python
-
- 05提供
-
- 他の担当
- 画面デザインは、カナダのバイオ研究所のデザイナーが担当しました。
- 担当内容
- デザイナーと要件を調整し、韓国とカナダのチーム間の技術的なやり取りを担当しました。
-
- 担当内容
- レポートをFastAPIのJSON APIで提供し、利用者向けの画面(フロントエンド)も開発。Web画面を切り離し、フロントエンドが使うJSON APIとして整理。
- 技術
- FastAPI
- JSON API
-
- 担当内容
- Korea IDCのUbuntu本番サーバーにHarborのプライベートレジストリを自分で構築し(証明書、ドメイン、Let's Encrypt)、Dockerイメージでデプロイ。本番サーバーには内部IPからのみアクセスできるようにしました。
- 技術
- Docker
- Harbor
- Ubuntu
- Let's Encrypt
-
改善サーバー内で描画していたWeb画面 → フロントエンド向けJSON APIとして分離
結果本番サーバーにデプロイ後、内部IP限定で運用サービスのコードは整理して公開
リファレンス
アノテーションに使った公開データです。
- 1000 Genomes
- 26集団のアレル頻度
- dbSNP
- GRCh37 · GRCh38、識別子と位置
- GWAS Catalog
- 疾患・形質との関連とオッズ比
- UniProt
- タンパク質の変異と臨床的な意味
蓄積とアノテーションの方法
一度には載せられないサイズを、分割して投入しました。
dbSNPと1000 Genomesの元のVCFは一度に読み込めないほど大きいため、染色体単位でファイルを分割し(sed、split)、pandasのチャンクとSQLAlchemyで少しずつ分けて蓄積しました。
アノテーションは、リファレンスのテーブルを順に結合する4段階のSQL結合です。dbSNPと1000 Genomesは染色体・位置・REF・ALTをつないだキーで、GWAS CatalogはrsIDとリスクアレルで、UniProtは変異IDとアレルで結合します。チップの入力は、rsIDを使ってdbSNPから位置キーを引きます。
担当範囲
共同で設計した部分と、私が実装した部分を分けて書いています。
私が実装・デプロイしたもの
- 変異検出パイプラインの実装(FASTQ → BWA → samtools → Picard → GATK → VCF)
- 顧客のVCF・チップアレイの入力処理(PyVCF)
- 公開リファレンスの蓄積と4段階のSQLアノテーション
- GWASのオッズ比に基づく疾患・形質のリスクスコア、集団ごとの頻度、疾患ごとの医薬品・韓方生薬の情報
- FastAPIのJSON APIと、レポートのフロントエンド(利用者向けの画面)
- Dockerでのデプロイ、Harborのプライベートレジストリ、ドメイン・HTTPS
- 韓国とカナダのチーム間の技術的なやり取り、カナダの研究所のデザイナーとの要件調整
共同で、または他の担当者が行ったこと
- チームリーダーと共同 · パイプラインのアルゴリズム設計
- カナダの研究所のデザイナー · UIデザイン
- 慶熙大学校 韓医科大学 · カナダのバイオ研究所 · 国際共同プロジェクトのパートナー
デプロイと限界
何が運用され、何が実験にとどまったかです。
HarborとDockerでデプロイ
- 方法
- Korea IDCのUbuntu本番サーバーにHarborのプライベートレジストリを自分で構築し(証明書、ドメイン、Let's Encrypt)、イメージを登録してDockerでデプロイしました。
- Harbor
- 自分で構築したHarborレジストリで本番デプロイを行い、同じレジストリで開発チームリーダーとKubernetesのテスト環境も構成しました。
- 整理
- Web画面を切り離し、フロントエンドが使うJSON APIとして整理しました。
限界
- スコア
- リスクはGWASのオッズ比・β値を使うルールベースのスコアです。機械学習による予測ではありません。
- モデル
- 疾患と韓方薬を結ぶLDAと1D-CNNのモデルは、プロトタイプの実験にとどまりました。
- 公開
- 本番サーバーにデプロイしたあとも、内部IPからのみアクセスできるようにしていました。正式なサービスとしては公開されていません。
- Python
- SQL
- FastAPI
- MySQL
- pandas
- SQLAlchemy
- PyVCF
- BWA
- samtools
- Picard
- GATK
- Docker
- Harbor
- Ubuntu