[데이터프레임,numpy] 코드 처리 속도 향상 질문 드립니다.

Question

[데이터프레임,numpy] 코드 처리 속도 향상 질문 드립니다.안녕하세요. 2014~15년도 기업 데이터를 가지고 데이터 분석 연습을 하고 있습니다. 데이터 테이블의 구성은고객번호 구매일자 구매시간 영수증번호 소분류코드 가 있고 행의 개수는 2800만개정도 됩니다.하고 싶은 것은 컬럼을 만드는데 고객별 시간별 순서대로 데이터를 정렬하고 다음 영수증의 물품이 그 전 영수증 리스트 안에 있으면 1 아니면 0이라는 라벨을 달아주려고 합니다. 제가 짠 코드는 다음과 같습니다.#----------------------------0, 1 레이블을 달아줄 함수 &#64;jit(nopython &#61; False) def cal_reordered(self): d &#61; self.merge_goods_order() # 주문 데이터와 상품분류 데이터를 결합하여 소분류명을 추가하는 메소드 o&#61; d[['고객번호','영수증번호','소분류코드']].copy() cust_list&#61; self.get_customer_id_list() #고객순서대로 1번부터 19383 고객의 id list 입니다. res &#61; [] for cust_id in cust_list: print(cust_id) length&#61;self.get_receipt_order(cust_id,o) # 고객별 연수증을 시간 순서대로 받아옵니다. for i in range(len(length)): if i !&#61; 0: #처음 영수증이 아닐때 영수증끼리 비교 past&#61;self.get_goods_name(length[i-1],o) #이전 영수증의 물품리스트 current&#61;self.get_goods_name(length[i],o)#현재 영수증의 물품리스트 res&#43;&#61;self.comparison(current,past) else : #처음 영수증일때 모두 0으로 처리 current&#61;self.get_goods_name(length[i],o) for i in range(len(current)): res &#43;&#61;[0]#-------------------영수증을 비교하는 함수 &#64;jit(nopython &#61; False) def comparison(self,current,past): res &#61; [] if len(current) &#61;&#61; 1: #현재영수증의 크기가 1이면 이전 영수증에 있는 지 없는 지 확인후 값 배정 if current in past: res &#43;&#61; [1] else : res &#43;&#61; [0] else : #현재 영수증안의 물품개수가 1이 아니라면 밑에가 더 빠를듯하여 추가하였습니다. res&#43;&#61;(np.in1d(current,past)*1).tolist() return res100명정도의 고객을 처리하는데 평균적으로 1시간 정도가 소요됩니다.시간 단축을 위해서 데이터프레임을 사용하지 않고 numpy로 모두 바꿔주었는데 시간이 더 오래걸렸습니다.이거를 빠르게 할수 있는 방법이 있을까요??? 고객이 20000명 정도라 단순 시간계산을 해보면 200시간이 넘게 걸립니다.어떻게 하면 시간을 많이 단축시킬 수 있을까요?

[데이터프레임,numpy] 코드 처리 속도 향상 질문 드립니다.

0개의 답변

Q&A 목록