OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
hadoop
전체
최신순
질문하기
답변
1
하두두둡
·
거의 2년
342
0
답변 1
EC2 하둡 완전 분산 환경 구축 running job 에러
안녕하세요 구글링 하다가 도저히 나오질 않아 질문게시글에 적게 되네요프로젝트를 진행중인데 vmware에서 먼저 완전 분산 환경 구축을 테스트해보고 ec2에서 이번에 동일한 환경을 구성하고 있습니다 아래는 제가 설정한 5가지 파일이었습니다 core-site.xml <configuration> <property> <name>fs.defaultFS</name> <valu
답변
2
starteng
·
약 2년
386
0
답변 2
Pandas와 Hadoop의 차이에 대해 알고 싶습니다.
회사에서 raw data 분석을 해야해서 혼자 공부 중인데, 이제 시작해서 Pandas와 Hadoop의 차이가 와닿지 않습니다. 라이브러리와 프레임워크의 차이, 주 언어의 차이 등등,, 뭔가 아리송하게 알 거 같고 정확히 어디에서 쓰이는지 모르겠어서 질문 리스트 남깁니다.. 저의 무지함에 너그러이 이해해주시고 ㅠㅠ 아시는 분들 지식 공유 부탁드립니다. Pandas와 Hadoop 나아가 Spark와의 차이 Pandas, Hadoop 각각 주로 쓰
해결
2
가즈앙앙앙
·
약 2년
1.1k
0
해결 2
DBeaver에 Hive를 연결시키고 싶습니다
virtualbox에 올린 VM(192.168.137.100)에 Hive가 설치되어있고 Hive 서비스가 정상 작동중입니다. 이 상태에서 제 local pc 에 깔려있는 DBeaver와 Hive를 연결시키고 싶은데요. 연결이 되지 않습니다. username 과 password는 따로 안적어도 접속이 되는걸로 알고있는데요 어떻게 연결시켜야 할까요?
답변
1
코딩하는사람임
·
약 2년
296
0
답변 1
sqoop 실행시 running job 에서 멈춤
import 나 export 시 저렇게 Running job에서 멈춰있습니다 원인 아시는 선배님들 있으신가요 도와주심 감사하겠습니다!! hadoop@rist-bigdata:~$ $SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://192.168.11.254/test?serverTimezone=UTC \ > --username root \ > --password root \ > --t
답변
0
pppp9
·
거의 3년
366
1
답변 0
hadoop과 ELK stack 중 어떤 기술 스택을 사용해야할까요?
매 10분 단위로 뉴스 데이터를 크롤링해서 저장 후 데이터를 앞 단에 보여주는 프로젝트를 진행하려고 합니다. 이 상황에서 어떤 기술 스택을 사용해야할 지에 대한 고민이 있습니다. Hadoop Echo System 사용 Kafka + ELK stack 사용 뉴스 데이터의 키워드를 나누어 Count 계산을 해야하니까, 1번을 생각해보았고 10분마다 발생하는 데이터이니 데이터 파이프라인을 구축해야하지 않을까 싶어서, 2번을 생각해보았습니다.
답변
1
waka
·
거의 3년
314
0
답변 1
아파치 Spark에서 인메모리 이미지에 대해서 영상처리하는 분산처리가 가능할까요??
인메모리에 저장되어있는 bmp형식의 데이터를 분산처리하는 방법에대해 알아보고 있습니다. 찾아보니, spark라는 플랫폼이 인메모리 처리가 가능한 분산처리 플랫폼이라고 파악했는데, 인메모리 이미지에 대해서 TemplateMatching, Filtering FFT, Conquer, Laplace, Threshold같은 OpenCV 영상처리작업을 분산처리하는 기능이 가능할까요?? 그리고 Keras를 이용해서 이미지에 AI를 접목하는 연산도 분산처리로 수행이
해결
1
cosician
·
3년 이상
858
0
해결 1
신입 데이터 엔지니어 포트폴리오 피드백 부탁드리겠습니다 !
노션으로 포트폴리오를 만들었습니다.현재 여러 회사에 지원을 하고 있는데 대부분 서류에서 탈락이 되어선생님들의 다양한 피드백으로 도움을 얻고자 글을 작성하였습니다 .혹 시간이 있으시다면 귀한 시간 내주시면 감사하겠습니다 :) !피드백 감사합니다!
답변
1
하두두두두루둡
·
3년 이상
347
0
답변 1
hdp 질문이요 !
안녕하세요! 이제 하둡공부에 입문하면서 virtual box에 HDP를 통해서 hadoop 실습을 하고있습니다.HDP 2.6.5버전은 컴퓨터 사양이 딸려서 안되는지 하루종일 기다려도 부팅이 되지않아 어쩔수 없이 HDP 2.5버전을 사용하고 있습니다. 문제는 Putty를 이용하여 HDP 가상머신내에서 yum 사용시 계속해서 403 에러가 납니다. 온갖 구글링을 삼일동안 해봐도 아무것도 먹히지 않습니다. 종종 HDP의 서비스
답변
0
꧁Frustrequiem ꧂
·
약 4년
393
0
답변 0
하둡 데이터 노드
Master 노드와 Worker1 노드 총 두 개
해결
2
dico
·
약 4년
422
0
해결 2
하둡..spark-submit 문제인 것 같은데 모르겠습니다ㅠㅠ
img src="//file.okky.kr/images/1647826163693.pn
답변
2
lee_tech
·
4년 이상
432
0
답변 2
Hadoop 궁금한 점 질문 드립니다!
만약 예시로 클러스터에 1TB의 파일을 333GB 씩 1,2,3 DataNode에 분산 저장을 했는데DataNode 1번이 다운 된다면 클라이언트가 이 1TB의 파일을 읽으려고 할 때 읽지를 못하는 건지궁금합니다.
답변
0
kpsy25
·
4년 이상
372
0
답변 0
다른 vm에서 하둡 FsImage 가져오기
하둡이 실행되고 있는 vm에서는hdfs dfsadmin -fetchImage명령어를 사용해서 현재 fsimage를 불러올 수 있다고 알고 있습니다.여러 개의 하둡 클러스터 fsimage를 하나의 vm에서 관리하기 위해 원격으로 fsimage를 불러오고 싶은데요하둡 클러스터들의 ip 주소를 알 때 적용할 수 있는 방법이 있을까요?
답변
2
kpsy25
·
4년 이상
799
0
답변 2
spark on ec2, s3 연동
spark 2.4.7hadoop 2.9.0사용하고 있습니다. aws ec2에 설치되어 있는 spark로 s3 버킷에 있는 데이터를 읽어오려고 하는데요Py4JJavaError: An error occurred while calling o378.json.: java.lang.NoClassDefFoundError: org
답변
0
Steven Shin
·
4년 이상
1.1k
0
답변 0
hadoop, ambari 유료화 관련 궁금한 점이 있습니다.
안녕하세요, apache ambari를 사용해 하둡 클러스터를 구축해보려고 공부 중인 학생입니다.다름이 아니라 어제 검색을 하던 중 클라우데라가 전체 레거시 버전을 유료화 소식을 들었습니다.https://kr.cloudera.com/downloads/paywall-expansion
답변
0
Dan!
·
거의 5년
519
0
답변 0
아파치 스파크 파일 변환 성능
안녕하세요 스파크 공부를 막 시작한 주니어 개발자입니다~기존 데이터 파이프라인에 적용해보고 싶은데 가능할지 알고싶어 질문드립니다~적용을 목표로 하는 파이프라인은 배치성 작업으로 1. CSV 파일에 여러 사용자가 남긴 로그들이 쌓여 일정 크기 혹은 시간 쌓여 S3에 업로드 됩니다.2. 워커에서는 해당 파일에 접근하여 일부 전처리를 합니다.3. 사용자 컬럼을 기준으로
해결
2
오도독
·
거의 5년
521
0
해결 2
하둡 data type
하둡에 데이터 타입 중 date 는 yyyy-mm-dd 로 시분초 빠지고 저장되나요?오라클 date 타입 컬럼을 시분초 포함해 하둡에 옮겨야하는데 date로 넣어야하는지 timestamp로 넣어야하는지 모르겠습니다.
답변
0
팡우송
·
5년 이상
380
0
답변 0
하둡 에코시스템은 어떻게 공부해야 할까요??
안녕하세요취업 공고 우대사항에 `하둡 에코시스템에 대한 이해`가 많이 보이던데 알고있는것이 전혀없습니다이걸 공부할 수 있는 좋은 책이나 사이트 있을까요... 어떻게 공부해야할지 자료도 잘 안보이고 막막하네요그리고 어느정도 알고 있어야 `하둡 에코시스템을 이해`했다고 볼 수 있을까요?감사합니다
답변
0
골때맞추기
·
5년 이상
369
0
답변 0
하둡 HDFS 질문이요
안녕하세요현재 하둡의 HDFS의 파일을 읽어오는걸 테스트중입니다.go 언어로 짜고 있는데 파일의 정보는 읽어 오는데파일 안에 데이터를 읽어 오지는 못하는 현상이 있습니다.혹시 저와 같은 사례가 있는지 궁금합니다.webhdfs enable도 해줬고요 하둡의 permission을 false로 두었습니다.뭔가 설정 문제인거 같은데 해결책을 못찾고 있습니다.go 언어
답변
0
nadau97
·
5년 이상
462
0
답변 0
하둡 책 추천 받을수 있을까요?
현재 하둡관리라는 책으로 하둡을 공부하고있는 학부생인데 책이 살짝 어렵다고 해야하나 처음 부터 많이 버벅 거리고 있습니다...혹시 다른 볼만한 책있을까요??
해결
2
흑흑흑흑
·
5년 이상
636
0
해결 2
자바 - 하둡 공부중에 이해가 잘 안가는 부분이 있어서 질문드립니다(문자열 -> 정수형 형변환 관련)
데이터 객체public class Train { private String date; private String lane; private String station;
이전
1
2
3
다음
Search Bar
