sqoop 실행시 running job 에서 멈춤

Question

import 나 export 시 저렇게 Running job에서 멈춰있습니다 원인 아시는 선배님들 있으신가요 도와주심 감사하겠습니다!!hadoop&#64;rist-bigdata:~$ $SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://192.168.11.254/test?serverTimezone&#61;UTC \ > --username root \ > --password root \ > --table salaries \ > -m 1 \ > --target-dir /bigdata/jmhuh \ > --delete-target-dir Warning: /home/hadoop/sqoop-1.4.7/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /home/hadoop/sqoop-1.4.7/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /home/hadoop/sqoop-1.4.7/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 24/03/21 14:31:43 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 24/03/21 14:31:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 24/03/21 14:31:43 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 24/03/21 14:31:43 INFO tool.CodeGenTool: Beginning code generation Loading class &#96;com.mysql.jdbc.Driver'. This is deprecated. The new driver class is &#96;com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary. 24/03/21 14:31:44 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM &#96;salaries&#96; AS t LIMIT 1 24/03/21 14:31:44 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM &#96;salaries&#96; AS t LIMIT 1 24/03/21 14:31:44 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /bigdata/hadoop Note: /tmp/sqoop-hadoop/compile/67658aa5c5e53c203b1e66b0f1e78c6c/salaries.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for details. 24/03/21 14:31:45 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoop/compile/67658aa5c5e53c203b1e66b0f1e78c6c/salaries.jar SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/bigdata/hadoop-2.7.6/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/bigdata/hbase-1.3.2/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 24/03/21 14:31:46 INFO tool.ImportTool: Destination directory /bigdata/jmhuh is not present, hence not deleting. 24/03/21 14:31:46 WARN manager.MySQLManager: It looks like you are importing from mysql. 24/03/21 14:31:46 WARN manager.MySQLManager: This transfer can be faster! Use the --direct 24/03/21 14:31:46 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path. 24/03/21 14:31:46 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql) 24/03/21 14:31:46 INFO mapreduce.ImportJobBase: Beginning import of salaries 24/03/21 14:31:46 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 24/03/21 14:31:46 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 24/03/21 14:31:46 INFO client.RMProxy: Connecting to ResourceManager at rist-namenode/127.0.0.1:8032 24/03/21 14:31:47 INFO db.DBInputFormat: Using read commited transaction isolation 24/03/21 14:31:48 INFO mapreduce.JobSubmitter: number of splits:1 24/03/21 14:31:48 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1710999085924_0001 24/03/21 14:31:48 INFO impl.YarnClientImpl: Submitted application application_1710999085924_0001 24/03/21 14:31:48 INFO mapreduce.Job: The url to track the job: http://rist-bigdata:8088/proxy/application_1710999085924_0001/ 24/03/21 14:31:48 INFO mapreduce.Job: Running job: job_1710999085924_0001 hadoop&#64;rist-bigdata:/bigdata/hadoop-2.7.6/sbin$ yarn application -list 24/03/21 14:32:16 INFO client.RMProxy: Connecting to ResourceManager at rist-namenode/127.0.0.1:8032 Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1 Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL application_1710999085924_0001 salaries.jar MAPREDUCE hadoop default

kenu,전독시 · Answer

Sqoop 작업이 "Running job"에서 멈춰있는 문제는 여러 가지 원인으로 발생할 수 있습니다. 제공된 정보를 바탕으로 문제를 해결하기 위한 몇 가지 단계와 고려 사항을 제시합니다:YARN ResourceManager UI 확인: 작업이 제출되고 실행 중임에도 불구하고 진행률이나 완료 상태가 보이지 않는다면, YARN ResourceManager UI를 통해 작업의 상태를 확인해야 합니다. 로그에 제공된 URL(http://rist-bigdata:8088/proxy/application_1710999085924_0001/)을 통해 작업의 진행 상황, 완료 여부, 실패 여부 등을 확인할 수 있습니다.Hadoop 및 YARN 로그 검토: 작업이 진행되지 않는 이유를 파악하기 위해 Hadoop 및 YARN 로그를 검토해야 합니다. 리소스 할당 문제, 구성 오류, 운영 문제 등을 나타내는 오류 또는 경고 메시지가 있을 수 있습니다.충분한 리소스 확인: Hadoop 클러스터에 작업을 실행하기 위한 충분한 리소스(CPU, 메모리, 디스크 공간)가 있는지 확인해야 합니다. 클러스터가 부족하게 프로비저닝되어 있으면 작업이 리소스를 기다리는 동안 멈출 수 있습니다.구성 문제 확인: 로그에 나타나는 경고(/home/hadoop/sqoop-1.4.7/../hcatalog, /home/hadoop/sqoop-1.4.7/../accumulo, /home/hadoop/sqoop-1.4.7/../zookeeper 디렉토리가 없다는 경고)는 구성 문제를 나타낼 수 있습니다. 이러한 디렉토리가 존재하고 환경 변수($HCAT_HOME, $ACCUMULO_HOME, $ZOOKEEPER_HOME)에 올바르게 설정되어 있는지 확인해야 합니다. 누락되거나 잘못 구성된 디렉토리는 작업 실패로 이어질 수 있습니다.SLF4J 경고 해결: 로그에 나타나는 SLF4J 경고는 직접적으로 작업이 멈춘 문제와 직접적으로 관련이 없지만, 잠재적인 로깅 문제를 피하기 위해 해결하는 것이 좋습니다. 클래스 경로에 SLF4J 바인딩이 하나만 있도록 하여 충돌을 방지해야 합니다.직접 가져오기 옵션 사용: 경고는 MySQL 가져오기를 더 빠르게 하기 위해 --direct 옵션을 사용하라고 제안합니다. 이는 성능 최적화에 더 가깝지만, Sqoop 및 MySQL 구성이 성능에 최적화되어 있는지 확인하여 예기치 않은 문제를 해결할 수 있습니다.작업 실패 확인: 작업이 멈춰 있고 진행되지 않는 경우, 작업이 실패했을 수 있습니다. YARN ResourceManager UI와 로그를 통해 작업 실패에 대한 증거를 찾아야 합니다.위의 단계를 거쳐도 작업이 여전히 멈춰 있다면, 설정, 작업 구성, 발생한 오류 메시지 또는 로그에 대한 구체적인 정보와 함께 Hadoop 커뮤니티나 지원 채널에 문의해야 할 수 있습니다.from: https://www.phind.com/search?cache=vrthel0wqgmduy58rru4xb93

sqoop 실행시 running job 에서 멈춤

1개의 답변

Q&A 목록