Databricksを活用したデータ基盤構築・ETL処理開発案件

Databricks上でのデータ処理開発。Python/PySpark/SQLを用いたETL・ELT処理の設計・開発。Delta Lakeを利用したデータ管理・加工。データパイプライン、ワークフロー、ジョブの設計・実装。既存データ処理の改修・性能改善。データ連携処理の設計・開発。単体テスト、結合テスト、データ検証。エラー調査、ログ確認、運用改善。各種ドキュメント作成。

・Databricksを利用した開発経験
・PythonまたはPySparkを用いた開発経験
・SQLを用いたデータ抽出・加工経験
・ETL/ELT処理、データパイプライン開発経験
・クラウド環境でのデータ基盤開発経験
・基本設計、詳細設計、テスト設計の経験
・日本語での業務コミュニケーション能力

・Azure DatabricksまたはAWS Databricksの経験
・Delta Lake、Unity Catalogの知識・経験
・Snowflake、BigQuery、RedshiftなどDWHの経験

Databricks, Python, PySpark, SQL, Delta Lake

週5日

神奈川県川崎市

一部リモート