SNSデータ収集・BigQuery格納パイプライン開発

SNS上の投稿データをAPI経由で取得し、分析用基盤へ蓄積するデータパイプラインの実装を担当いただきます。各SNSのAPIを利用したデータ取得処理の実装、APIのレートリミットを考慮した効率的なデータ抽出フローの設計・構築、取得したRawデータを整形し、BigQueryへロードする処理の実装。格納後のSQL分析やBIツール化は別担当が行うため、「データの流し込み」に集中いただけます。

・Python または Node.js を用いたバックエンド開発経験（3年以上）
・外部API（SNS系APIなど）との連携実装の実務経験
・BigQueryへのデータ格納（ロード）に関する知識・経験
・日本語でのスムーズなコミュニケーション能力

・SNS API（X API / Graph API等）の利用経験
・サーバーレス環境（Cloud Functions 等）でのバッチ処理実装経験
・データパイプライン（ETL）の設計経験

Python, FastAPI, pandas, Node.js, BigQuery, Google Cloud, Cloud Functions, Cloud Run, Workflows, GitHub, Docker

週5日

フルリモート

64h-96h

1回