Spring 개발 환경 설정(pom.xml) 및 Spring Legacy Project Source 일부 소스 공개

Question

일단 스터디(후배 과제)를 통해 공부를 했는데, 일단 네이버 데이타랩의 급상승 트래킹의 뷰페이지를 크롤링(데이터를 긁어 모아서 List(ArrayList)나 Map(HashMap)에 저장하는 형태) 뷰까지 뿌리진 못했어도 요청(Request)로 보내서, Response(응답)을 받긴 했어요..., Jqurey와 JavaScript를 도저히 모르겠어서 뷰에 못 뿌렸지만...pom.xml 4.0.0 org.multi webti webti war 0.0.1-BUILD-SNAPSHOT

1.8

5.0.5.RELEASE

1.8.13

1.7.25

org.springframework spring-context ${org.springframework-version} commons-logging commons-logging org.springframework spring-aop ${org.springframework-version} org.springframework spring-beans ${org.springframework-version} org.springframework spring-web ${org.springframework-version} org.springframework spring-webmvc ${org.springframework-version} org.springframework spring-test ${org.springframework-version} org.aspectj aspectjweaver ${org.aspectj-version} org.slf4j slf4j-api ${org.slf4j-version} org.slf4j jcl-over-slf4j ${org.slf4j-version} runtime org.slf4j slf4j-log4j12 ${org.slf4j-version} runtime log4j log4j 1.2.15 javax.mail mail javax.jms jms com.sun.jdmk jmxtools com.sun.jmx jmxri runtime javax.inject javax.inject 1 javax.servlet servlet-api 2.5 provided javax.servlet.jsp jsp-api 2.1 provided javax.servlet jstl 1.2 junit junit 4.12 test mysql mysql-connector-java 5.1.37 org.mybatis mybatis-spring 1.3.0 org.mybatis mybatis 3.4.1 org.springframework spring-jdbc ${org.springframework-version} org.bgee.log4jdbc-log4j2 log4jdbc-log4j2-jdbc4 1.16 org.jsoup jsoup 1.11.3 com.googlecode.json-simple json-simple 1.1 org.apache.maven.plugins maven-compiler-plugin 3.1 maven-plugin org.codehaus.mojo exec-maven-plugin 1.2.1 org.test.int1.Main org.apache.maven.plugins maven-war-plugin 2.4 src/main/webapp src/main/webapp/WEB-INF/web.xml org.codehaus.mojo tomcat-maven-plugin 1.1 http://localhost:8080/manager/text /webti admin 1234 maven-compiler-plugin 3.1 1.8 1.8 jsoup 라이브러리와 json-simple(C#에서는 SimpleJSON이라는 라이브러리를 제공) 라이브러리를 이용해서 jsoup으로는 데이터를 분석하여(파싱?) 다음과 같이 작성했고요...package org.multi.dao; import java.util.ArrayList; import java.util.List; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import org.multi.dto.TrackingVO; import org.springframework.stereotype.Repository; @Repository // <- 데이터 액세스 계층인 DAO 또는 리포지토리 클래스에 사용된다. DataAccessException 자동변환과 같은 AOP의 적용 대상을 선정되기 위해서도 사용된다. ( 적용 대상 ) 스테레오타입 애노테이션의 종류 public class TrackingDAOImpl implements TrackingDAO { public List trackinglist; @Override public List TrackingRanking() throws Exception { trackinglist = new ArrayList(); Document doc = Jsoup.connect("https://datalab.naver.com/keyword/realtimeList.naver").get(); System.out.println("title : "+doc.title()); Document docbody = Jsoup.parseBodyFragment(doc.body().toString()); Element body = docbody.body(); Elements keyword_ranklines = body.select("div[class].keyword_rank.select_date"); Elements Currenttime = keyword_ranklines.select("strong[class].rank_title.v2"); Elements ranklist = keyword_ranklines.select("div[class].rank_scroll"); Elements ranks = ranklist.select("a[class].list_area"); for(Element rankitem : ranks) { //System.out.println(rankitem.select("em[class].num").text()+"."+rankitem.select("span[class].title").text()); int num = Integer.parseInt(rankitem.select("em[class].num").text());// tag 가져오기 : rankitem.select("em[class].num").toString() String title = rankitem.select("span[class].title").text(); // tag 가져오기 : rankitem.select("span[class].title").toString() TrackingVO trackvo = new TrackingVO(num, title); trackinglist.add(trackvo); } System.out.println("현재 시간 : " + Currenttime.text()); return trackinglist; } } 네이버 메인 페이지 들어가면 실시간 순위가 보이는데, 일단은 네이버 사이트가 업데이트 되면, 이 코드를 못 쓸 수도 있어요. 그 때마다 데이타랩 웹 페이지를 소스보기를 크롬창에서 Ctrl+Shift+J로 Select Element(상단의 돋보기 아이콘) 로 선택하면 소스를 분석을 하셔야 합니다. 태그들의 ID가 바뀔 수도 있어서, 직접 System.out.println("문자열"); 콘솔창에 출력하여 분석하셔야 합니다. @RequestMapping(value = "/Rank", method=RequestMethod.POST ) public @ResponseBody() String getRank(@RequestParam(value = "mode") String mode) throws Exception { logger.info("Rank"); System.out.println("mode->"+mode); List list = trackingservice.TrackingResult(); JSONObject json = new JSONObject(); JSONArray trackingArray = new JSONArray(); for(int i = 0; i < list.size(); i++) { JSONObject trackingInfo = new JSONObject(); // 배열 내에 들어갈 json trackingInfo.put("ranknum", list.get(i).ranknum); trackingInfo.put("ranktitle", list.get(i).ranktitle); trackingArray.add(trackingInfo); }// 안전하지 않은 방법이다. 권장은 HashMap 이란다. json.put("item", trackingArray); System.out.println(json.toString()); return json.toString(); } 위의 소스는 MVC Project Page에서 home.jsp를 return 해줍니다.

text/html;charset=UTF-8

아 참고로 한글 인코딩 처리는... servlet-context.xml 에서 해주었어요.마지막으로 뷰페이지는...<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%> <%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c" %> <%@ taglib prefix="fn" uri="http://java.sun.com/jsp/jstl/functions"%> <%@ page session="false" %> YEOGA

1 부산
2 전주
3 여수
4 담양
5 가평
6 순천
7 경주
8 포항
9 평창
10 제주

자바스크립트는 그래서 결과적으로 이렇게 얻어왔는데..., 스크린샷 내용도 건전하고 좋네...결과적으로 Jquery랑 Javascript를 도저히 몰라서, console에 Debug도 안되고... 설마 이클립스로 페이지를 디버깅? 매번 alert로 뛰우는거 불편하고..., 일단 제 소스를 응용하시면 좀 더 좋은 방향으로 갈까봐 공개해드려요. 공개라고 할께 딱히 없어요. 인터넷에서 긁어 모은거라서... 검색하시다가 소스 가져가시라고... Jquery 책을 밤새서 10시간 보았는데, 5년만에 보아서 모르겠다는... 사실 저는 C#이랑 유니티만 최근까지 많이 해서, 웹은 친숙하지 않아서...

Spring 개발 환경 설정(pom.xml) 및 Spring Legacy Project Source 일부 소스 공개

0개의 답변

Q&A 목록