spark on ec2, s3 연동

Question

spark 2.4.7hadoop 2.9.0사용하고 있습니다. aws ec2에 설치되어 있는 spark로 s3 버킷에 있는 데이터를 읽어오려고 하는데요 Py4JJavaError: An error occurred while calling o378.json. : java.lang.NoClassDefFoundError: org/jets3t/service/ServiceException at org.apache.hadoop.fs.s3native.NativeS3FileSystem.createDefaultStore(NativeS3FileSystem.java:342) at org.apache.hadoop.fs.s3native.NativeS3FileSystem.initialize(NativeS3FileSystem.java:332) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2669) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295) at org.apache.spark.sql.execution.streaming.FileStreamSink$.hasMetadata(FileStreamSink.scala:45) at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:346) at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:242) at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:230) at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:411) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) at py4j.Gateway.invoke(Gateway.java:282) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.GatewayConnection.run(GatewayConnection.java:238) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.ClassNotFoundException: org.jets3t.service.ServiceException at java.net.URLClassLoader.findClass(URLClassLoader.java:387) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) ... 24 more위와 같은 에러가 뜨면서 되지 않습니다.hadoop_conf &#61; sc._jsc.hadoopConfiguration() hadoop_conf.set(&#34;fs.s3a.awsAccessKeyId&#34;, &#34;&#34;) hadoop_conf.set(&#34;fs.s3a.awsSecretAccessKey&#34;, &#34;&#34;) hadoop_conf.set(&#34;fs.s3a.impl&#34;,&#34;org.apache.hadoop.fs.s3a.S3AFileSystem&#34;) hadoop_conf.set(&#34;fs.s3a.impl&#34;,&#34;org.apache.hadoop.fs.s3native.NativeS3FileSystem&#34;) hadoop_conf.set(&#34;com.amazonaws.services.s3.enableV4&#34;, &#34;true&#34;) hadoop_conf.set(&#34;fs.s3a.aws.credentials.provider&#34;,&#34;org.apache.hadoop.fs.s3a.BasicAWSCredentialsProvider&#34;) hadoop_conf.set(&#34;fs.s3a.endpoint&#34;, &#34;s3.ap-northeast-2.amazonaws.com&#34;) 위와 같이 코드 내에서 설정은 모두 잘 한 것 같은데 되지 않습니다..구글링을 해보니 hadoop-aws를 다운받아서 spark/jars에 넣으라는 해결법이 있어서 해봤으나 되지 않았습니다..

allinux · Answer

aws sdk 도 추가해야합니다.jar 파일을 하나씩 넣지말고 maven 이나 gradle 같은 빌드 도구를 사용하세요.

Lamanus · Answer

이런거 설정 잘 못하시면 비용 더 내고 emr을 알아보시는게 나을 수도 있습니다. 이미 다 설정이 되어있으니까요.

spark on ec2, s3 연동

2개의 답변

Q&A 목록