コミュニティのリズムゲームのサーバー、
アップデート時に最大約2,000人が同時接続
2人で作ったコミュニティのリズムゲームWJMaxで、サーバー・DB・セキュリティを担当しました。ゲームクライアントはもう1人が開発しました。公開したサーバーコードでは、負荷・再送・入力検証の問題をテストで扱っています。
アップデート時の最大~2,000人同時接続
普段~300人平均同時接続
CI3種のDBSQLite · MySQL 8.0 · 8.4でテスト
アーキテクチャ
ゲームクライアントは曲ごとに8つの譜面のプレイ回数を報告として送り、サーバーはそれを受け取ってデータベースに保存していました。
自分で構築
他の担当者
- 01クライアント
-
- 他の担当
- ゲームクライアントは、チームのもう1人が開発しました。
- 規模
- 平均同時接続約300人、アップデート時は最大約2,000人。
- 報告
- 曲ごとに、8つの譜面のプレイ回数をサーバーに送ります。
-
- 02エッジ
-
- 担当内容
- サーバーの前段にCloudflareのプロキシとWAFを構成。認証なしで届く報告の濫用を、前段で防ぎます。
- 技術
- Cloudflare
- WAF
-
- 03APIサーバー
-
- 担当内容
- EC2のDockerコンテナで、FastAPIのプレイログ収集APIを運用。公開版では、コネクションプールの枯渇、再送による重複保存、入力の検証に対処しています。
- 技術
- FastAPI
- Docker
- AWS EC2
-
- 04保存
-
- 担当内容
- プレイ報告をRDSのMySQLに保存。公開版では曲名を一文字ずつそのまま比較し、大文字・小文字やひらがな・カタカナだけが違う曲がまとめられないようにしました。
- 技術
- MySQL
- AWS RDS
-
結果アップデート当日に最大約2,000人の同時接続を受けて運用サーバーログなどの一次資料は残っていないため、運用終了後に初めてまとめた記録(2025年のポートフォリオ)の値を使っています
公開版で扱った問題
ゲームクライアントが送るリクエストはそのままにして、サーバー側の問題を一つずつテストで固定しました。
同時接続が集中するとリクエストが失敗する問題
- 問題
- 公開版の初期段階では、リクエストがDB接続を早く取りすぎる構造だったため、60人が同時に送るテストで、リクエストの半数近くが互いを待ったまま失敗しました。
- 解決
- 接続の取得から使用、返却までを1つのワーカースレッドの中で済ませるようにし、接続数をワーカースレッド数(40)に合わせました。60人同時のテストをCIに組み込み、すべてに応答が返ることを確認し続けています。
再送された報告が二重に保存される問題
- 問題
- 接続が切れて同じ報告が再送されると、プレイ回数が二重に加算されるおそれがあります。
- 解決
- 報告に番号(報告ID)が付いていれば、同じ番号は一度だけ保存します。同じ報告が2件同時に届いても保存は1件だけで、番号が同じなのに内容が違う場合は拒否します。ただし配布済みのゲームはこの番号を送らないため、その再送は今も別の報告として保存されます。
曲名どうしが統合されてしまう問題
- 問題
- MySQLは初期設定のままだと大文字と小文字、ひらがなとカタカナを区別しないため、「Glory」と「GLORY」、「ゆめ」と「ユメ」を同じ曲とみなします。
- 解決
- 曲名とIDは一文字ずつそのまま比較するように設定を変え、CIでそれを確認しています。
誰でも送れる入力
- 問題
- 配布済みのゲームはログインなどの認証なしで報告を送るため、サーバーのアドレスを知っていれば誰でも報告を送れます。
- 解決
- サーバーが中身を読む前に形式を検証し、不正な入力と1 MBを超えるリクエストはすぐに拒否します。前段のCloudflareも濫用を防ぎます。報告が実際のプレイの証明にはならないという限界も、READMEに記載しました。
テストはGitHub ActionsでSQLiteとMySQL 8.0・8.4に対して実行し、データベース定義(schema.sql)がコードと一致しているかも確認しています。
- Python
- FastAPI
- Docker
- AWS EC2
- AWS RDS
- MySQL
- Cloudflare
- GitHub Actions