로그데이터 세션분리 후 순서화하는 문제관련 질문입니다.

Question

Hive에서 로그 데이터에서 반복되는 페이지는 처음 나타난 시간만 남기고 세션을 구분하고 순서화하고자 합니다. ID Page Timestamp Orestes Login 152356 Orestes Login 152360 Orestes Account view 152368 Orestes Account view 152372 Orestes Transfer 152380 Orestes Account view 152382 Orestes Account view 152390 Orestes Loan 152393 Antigone Login 152382 Antigone Transfer 152390 Antigone Account view 152392 Antigone Account view 152395 Antigone Trust 152399 위의 데이터를 아래와 같이 바꾸고자 합니다. 노란색만 남기고 순서값을 삽입하려 합니다. ID Page Timestamp Sequence Orestes Login 152356 1 Orestes Account view 152368 2 Orestes Transfer 152380 3 Orestes Account view 152382 4 Orestes Loan 152393 5 Antigone Login 152382 1 Antigone Transfer 152390 2 Antigone Account view 152392 3 Antigone Trust 152399 4 테이블로 만드려면 아래의 쿼리로 가능합니다.Create table log(id string, page string, timestamp bigint)insert into log values('Orestes','Login',152356) insert into log values('Orestes','Login',152360) insert into log values('Orestes','Account view',152368) insert into log values('Orestes','Account view',152372) insert into log values('Orestes','Transfer',152380) insert into log values('Orestes','Account view',152382) insert into log values('Orestes','Account view',152390) insert into log values('Orestes','Loan',152393) insert into log values('Antigone','Login',152382) insert into log values('Antigone','Transfer',152390) insert into log values('Antigone','Account view',152392) insert into log values('Antigone','Account view',152395) insert into log values('Antigone','Trust',152399) 이 작업을 위해서 With cte as(Select id, page, min(timestamp) timestamp from log group by id, page))Select id, page, timestamp, rank() over (partition by id order by timestamp) from log그러나 이 경우 orestes의 account view가 반복되는 부분이 사라집니다. 어떻게 하면 이 문제를 해결할 수 있을까요?

로그데이터 세션분리 후 순서화하는 문제관련 질문입니다.

0개의 답변

#hive 목록