python replace(리스트, 리스트) 리스트가 대용량이라 속도가 너무 느린데.. 개선 할수 있을까요?

Question

논문 데이터에서 유사한 단어들을 치환하려고 합니다..data['논문'] 의 데이터 길이는 50만개정도이고unuse_DF['불용어']와 unuse_DF['치환단어'] 의 길이는 10만개정도 입니다.아래 코드는 진짜 너무 느린데.. 어떻게 개선할수있을까요,, 부탁드립니다.. 지혜를 빌려주세요,,data['논문'] &#61; data['눈문'].replace(list(unuse_DF['불용어']), list(unuse_DF['치환단어']))

allinux · Accepted Answer

data를 5만개씩 10개 단위로 나누고멀티프로세스로 각각 패러럴하게 처리후 합치세요.더 좋은 솔루션은 분산처리 엔진인 dask 를 사용하세요. (pandas 와 100% 호환은 안됩니다.)

mirheeoj · Answer

chatgpt에 물어보니 이런식으로 하라고 합니다.import concurrent.futures def replace_text(text, not_allowed, allowed): return text.replace(not_allowed, allowed) data['paper'] &#61; &#34;some text with not_allowed word&#34; not_allowed_list &#61; list(unuse_DF['not_allowed']) allowed_list &#61; list(unuse_DF['allowed']) with concurrent.futures.ThreadPoolExecutor() as executor: results &#61; [executor.submit(replace_text, data['paper'], not_allowed, allowed) for not_allowed, allowed in zip(not_allowed_list, allowed_list)] for result in results: data['paper'] &#61; result.result()

python replace(리스트, 리스트) 리스트가 대용량이라 속도가 너무 느린데.. 개선 할수 있을까요?

2개의 답변

#replace 목록