Spark（Google Dataproc）からAWS S3にアクセスする方法

Spark（Google Dataproc）からAWS S3にアクセスする方法

Spark（Google Dataproc）から、AWS S3にアクセスする方法です。 手順 Spark設定 下記のSpark・Haddopの設定をすると、SparkからAWS S3ファイルの読み書きができるようになります。 Sparkに下記AWS関連のjarファイルを読み込みます aws-java-sdk-bundle-xxxx.jar hadoop-aws-xxxx.jar Hadoopの設定ファイル「core-site.xml」に下記パラメータを設定します fs.s3a.access.key：AWS S3のアクセスキー fs.s3a.secret.key：AWS S3のシークレット Da…