OKKY
OKKY LogoOKKY Logo
OKKY Logo
커뮤니티Q&A지식이벤트Contact
부트캠프Jobs
로그인회원가입

카테고리

  • 커뮤니티
  • 모임·스터디
  • Q&A
  • 지식
  • 이벤트
  • 공지사항
  • Contact
spark
questionsquestions
질문하기
  • 답변
    3
    이지피그·1년 이상
    481
    0
    답변 3
    프로필 사진SpringBoot의 계산 로직을 Spark로 처리해도 될까요
    급여, 임금 계산은 배치처리를 하는게 일반적이라고 들어서, 지금까지 스프링배치로 계산로직을 처리했습니다. 이번에 스파크와 Airflow를 배우면서 궁금한 점이 생겼습니다. 급여 계산을 Spark로 처리를 해도 된다고 하는데, Spark와 Spring 중 어느단에서 처리하는지 궁금합니다. 어떤 방식이 더 보편적일까요
  • 답변
    2
    골때맞추기·1년 이상
    393
    0
    답변 2
    프로필 사진spark에서 acid를 사용하려고합니다.
    계속 해결을 찾아다 못찾아서 질문을 올립니다. spark.sql을 통해서 acid를 하려고하면은 DELETE is only supported with v2 tables 라는 에러가 나옵니다. STORED AS ORC TBLPROPERTIES ("transactional"="true"); 테이블만들때 이 옵션을 주었습니다. hive에서는 acid로 crud가 동작이 가능한데 spark로만 가면 저런 에러가 나오네요.
  • 답변
    1
    골때맞추기·1년 이상
    433
    0
    답변 1
    프로필 사진apache spark를 테스트 중입니다.
    현재 jetbrains을 통해 개발중이고 spark를 ec2 ubuntu서버에 올려져 있습니다. 그래서 제 컴퓨터에서 테스트할려고합니다. 원격으로 붙어서요.SparkSession spark = SparkSession.builder() .appName("Spark Hive Example") .master("spark://ip:7077") // Sp
  • 해결
    1
    noell·2년 이상
    451
    0
    해결 1
    프로필 사진pyspark sparkcontext 브로드캐스트 변수, 액션 또는 변환에서 참조시 PySparkRuntimeError
    # 클러스터링 결과를 기반으로 데이터를 그룹화하고, 각 클러스터의 데이터 수를 계산합니다. clusterData = trainData2.map(lambda point: (model.predict(point), 1)) clusterSizes = clusterData.reduceByKey(lambda a, b: a + b).collect() 위 코드를 이용하여 클러스터링한 결과를 그룹화 하고싶은데, 다음의 오류가 발생하며 스파크 콘
  • 답변
    1
    waka·거의 3년
    314
    0
    답변 1
    프로필 사진아파치 Spark에서 인메모리 이미지에 대해서 영상처리하는 분산처리가 가능할까요??
    인메모리에 저장되어있는 bmp형식의 데이터를 분산처리하는 방법에대해 알아보고 있습니다. 찾아보니, spark라는 플랫폼이 인메모리 처리가 가능한 분산처리 플랫폼이라고 파악했는데, 인메모리 이미지에 대해서 TemplateMatching, Filtering FFT, Conquer, Laplace, Threshold같은 OpenCV 영상처리작업을 분산처리하는 기능이 가능할까요?? 그리고 Keras를 이용해서 이미지에 AI를 접목하는 연산도 분산처리로 수행이
  • 해결
    1
    kyounghunJang·3년 이상
    575
    0
    해결 1
    프로필 사진kafka+ spark vs kafka + elastic search
    많은 기업에서 elk stack 또는 spark + 시각화 를 사용하는데 이 두 가지의 차이점이 문득 궁금해지고 어떤 상황에서 둘중 어떤게 더 좋은건지 궁금해져서 질문합니다. 토이 프로젝트를 진행하면서 서로 차이점을 크게 못느끼고 있어서 궁금합니다
  • 해결
    2
    dico·약 4년
    422
    0
    해결 2
    프로필 사진하둡..spark-submit 문제인 것 같은데 모르겠습니다ㅠㅠ
    img src="//file.okky.kr/images/1647826163693.pn
  • 답변
    2
    kpsy25·4년 이상
    799
    0
    답변 2
    프로필 사진spark on ec2, s3 연동
    spark 2.4.7hadoop 2.9.0사용하고 있습니다. aws ec2에 설치되어 있는 spark로 s3 버킷에 있는 데이터를 읽어오려고 하는데요Py4JJavaError: An error occurred while calling o378.json.: java.lang.NoClassDefFoundError: org
  • 답변
    2
    냥길동·4년 이상
    688
    0
    답변 2
    프로필 사진아파치 스파크 관련 count시 성능관련 질문입니다.
    스파크 스트리밍으로 개발 진행중인 상태이며도커 스웜으로 서버 4대에 클러스터 구성이 되어있습니다. 그래서 마스터 1대 워커 3대로 스파크를 구성해놓은상태입니다. (다른 프로그램없이 스파크 마스터가 워커를 관리)카운트를 처리하려하는데 이게 생각보다는 많이 느리더라구요. 데이터는 분당 20-30만건정도를 밀어넣어보고있는데요. 전체카운팅은 10만건에 대략
  • 답변
    0
    Dan!·거의 5년
    519
    0
    답변 0
    프로필 사진아파치 스파크 파일 변환 성능
    안녕하세요 스파크 공부를 막 시작한 주니어 개발자입니다~기존 데이터 파이프라인에 적용해보고 싶은데 가능할지 알고싶어 질문드립니다~적용을 목표로 하는 파이프라인은 배치성 작업으로 1. CSV 파일에 여러 사용자가 남긴 로그들이 쌓여 일정 크기 혹은 시간 쌓여 S3에 업로드 됩니다.2. 워커에서는 해당 파일에 접근하여 일부 전처리를 합니다.3. 사용자 컬럼을 기준으로
  • 답변
    0
    lionsheep24·5년 이상
    502
    1
    답변 0
    프로필 사진[IntelliJ / Scala 질문] Scala sbt build 문제
    안녕하세요. 모델링/분석만 할줄 아는 것 같아 데이터엔지니어링에 맨땅에 해딩중인 개발자입니다.밑바닥부터 시작한다는 마인드로 코세라에서 강의를 듣고 있는데요. (Big data analysis with scala and spark)첫 과제부터 난관에 봉착했네요. 별것 아닌 것 같은 에런데 디버깅이 안됩니다...파이썬만 다루다 보니 자바, 인텔리제이,스파크 다 생소하네요 ㅎㅎ ㅠㅠbr /
  • 답변
    4
    collin__jeong·5년 이상
    2.2k
    0
    답변 4
    프로필 사진백앤드 개발자를 진로로 설정할 때 msa 괜찮은 선택인가요?
    저는 올해 졸업반인 4학년인데 진로결정에 갑갑한 마음이 들어서 여러 선배님들의조언을 듣고 싶어서 끄적여봅니다저는 전형적인 군대이후로 정신차린 타입인데 정말 우연치 않게 선택한 IT 관련 학과지만p style="color:rgb( 51
  • 답변
    1
    괃괃·5년 이상
    701
    0
    답변 1
    프로필 사진하둡이나 스파크로 분석 도와주실분 ㅠ
    하둡이나 스파크로 간단한 분석 도와주실분 있으실까요 ㅠㅠ 페이있습니다 오픈카톡으로 연락주세요도움https://open.kakao.com/o/sVn8yaNc
  • 답변
    0
    괃괃·5년 이상
    622
    0
    답변 0
    프로필 사진하둡,스파크로 분석 도와주세요
    하둡이나 스파크로 간단한 분석 도와주실분 있으실까요 ㅠㅠ 페이있습니다 오픈카톡으로 연락주세요도움https://open.kakao.com/o/sVn8yaNc
  • 답변
    0
    코뤼니·5년 이상
    343
    0
    답변 0
    프로필 사진hadoop에서 jps시 원하는대로 결과가 안나와서 질문드립니다.
    u64pds1은 마스터 이고 u64pds2,3은 슬레이브 입니다.u64pds1은 결과가 잘나오는데 u64pds2,3에서 jps와datanode만 뜨길바라는데 결과가 이상하게나옴니다..해결법 아시는분은 알려주세요img src="//file.okky.kr/images/16
  • 답변
    0
    kimhyunjoong·거의 6년
    494
    0
    답변 0
    프로필 사진spark RDD 변환 질문있습니다ㅠㅠㅠ
    val rdd1 =  sc.parallelize(Seq((1,2),(1,3),(1,4),(2,3),(2,4),(3,4)))span style="font-family:'menlo';font
  • 해결
    2
    bibi·약 6년
    945
    0
    해결 2
    프로필 사진하둡 MapReudce와 Spark관련 질문입니다
    안녕하세요.하둡 에코시스템을 공부중인데 궁금한게 생겨서 글을 남깁니다.대부분의 아티클에선 Spark가 MapReduce에 비해 10-100배 (최고의 시나리오) 혹은 최악의 경우라도 3배 빠른 처리 속도를 보인다고 하고. Spark의 경우엔 batch processing과 real-time processing도 가능하다고 하는데요. 그럼에도 불구하고, 여전히 MapReduce를 사용하는 이유는 무엇인가요?스파크
  • 해결
    3
    열사빵빵이·약 6년
    743
    0
    해결 3
    프로필 사진인텔리j 아파치 스파크 의존성 어떻게 추가하나요?
    name := "untitled"br
  • 답변
    0
    열사빵빵이·6년 이상
    660
    0
    답변 0
    프로필 사진아파치 스파크에 대해서 질문 있습니다.
    아파치 스파크에서 정보수집은 어떻게 하고 그 수집된 빅데이터들은 어떻게 분석을 하는지 혹시 알려주실분 잇나요? 참고사이트나 저서 참고가될만한 블로그 라도 알려주시면 제가 직접 찾아보겠습니다.. 부탁드릴게요..ㅠㅠ
OKKY LogoOKKY Logo
OKKY Logo

All That Developer

FacebookYoutubeEmail
  • 회사소개
  • 공지사항
  • 연락처
  • 광고문의
운영정책슬랙봇
  • 개인정보 처리방침
  • 통합 서비스 이용약관
운영정책슬랙봇
상호명: (주)오키코리아 | 대표명: 노상범
사업자등록번호: 592-87-02037
| 통신판매업신고번호: 제 2022-서울강남-04742호
| 직업정보 제공사업 신고번호: J1200020230009
주소: 서울 강남구 봉은사로 303 TGL경복빌딩 502호 (06103)
| 고객센터 : info@okky.kr (영업시간 평일 10:00~17:00) 주말 · 공휴일 휴무
© 2026 (주)오키코리아. All rights reserved.
sponsored by
iNamesiNamesiNames
NHN Cloud
NHN CloudNHN Cloud