Databricksを活用したデータ基盤構築・データ処理開発

Databricks上でのデータ処理開発。Python/PySpark/SQLを用いたETL・ELT処理設計・開発。Delta Lake利用のデータ管理・加工。データパイプライン、ワークフロー、ジョブ設計・実装。既存処理改修・性能改善。単体・結合テスト、データ検証。エラー調査、ログ確認、運用改善。各種ドキュメント作成。

・Databricksを利用した開発経験
・PythonまたはPySparkを用いた開発経験
・SQLを用いたデータ抽出・加工経験
・ETL/ELT処理、データパイプライン開発経験
・クラウド環境でのデータ基盤開発経験
・基本設計、詳細設計、テスト設計の経験
・日本語での業務コミュニケーション能力

・Azure DatabricksまたはAWS Databricksの経験
・Delta Lake、Unity Catalogの知識・経験
・Snowflake、BigQuery、RedshiftなどDWHの経験

Databricks, Python, PySpark, SQL, Delta Lake

週5日

神奈川県川崎市

一部リモート