背景・課題
データ活用を支える収集・蓄積基盤の自動化により、属人化や更新漏れの解消を実現。
作品紹介
GCPを活用し、株価データの取得・整形・保存を定期的に実行するETL基盤を構築しました。Cloud Scheduler、Cloud Functions、Cloud Storage、BigQueryを連携し、処理結果はSlackへ自動通知。さらに、分析用の非正規化テーブルを作成することで、クエリを簡素化し、課金対象となるスキャン量を40MBから10MBへ削減しました。
支援スタッフより
ETL処理の自動化だけでなく、データベース設計やログ管理、Slack通知まで含めた運用を意識した構成になっている点が印象的です。分析しやすさと保守性の両立を目指し、非正規化テーブルによる改善まで取り組んでおり、データ基盤構築に必要な視点を実践的に学べている成果物です。
