데이터엔지니어가 되기 위한 앞으로의 길 중 고민

Question

안녕하세요 저는 파이썬을 주 언어로 사용하고, 인공지능 관련 전공을 해온 수학 통계학 전공자입니다. 대학원에 진학하기보다는 먼저 데이터 분석 및 엔지니어링 관련 직무로 취업한 뒤, 궁극적으로 풀스택 데이터사이언티스트가 되는 것을 목표로 삼고 있습니다.지금까지 앱 개발 대회 등에 참여하면서 파이썬 기반의 PySQL, Flask, FastAPI 등을 활용해 간단한 웹 서비스를 구현해 왔고, 백엔드는 대회에서 필요한 만큼만 학습해 온 수준입니다. 연구 과제나 개발 업무를 진행하면서 데이터를 효율적으로 관리하는 일이 매우 중요함을 느꼈고, 보다 체계적으로 데이터 엔지니어링을 공부해보고 싶어졌습니다.그러던 중, 백엔드를 제대로 배워보기 위해서 SSAFY에 지원했습니다. 그런데 국내에서는 백엔드를 주로 자바Spring를 이용해 개발하는 기업이 많기에, 비전공자 대상 자바 과정을 들어야 할지 고민이 됩니다. 제 경우 파이썬 외에는 C++을 아주 조금 다룰 줄 아는 정도라서, 자바를 처음부터 배우는 게 어려울 수도 있을 것 같아 고민이 큽니다. 특히 실무에서 자바 소스코드를 접할 기회가 많을 것 같다는 점이 선택에 영향을 주고 있습니다.한편, 장기적으로는 에어플로우, 도커와 쿠버네틱스 등 데이터를 다루는 데 필요한 다양한 툴들을 더 공부해야 할 것도 많아서, 굳이 자바를 선택하지 않고 파이썬 트랙을 들어가서 좀 더 수월하게 학습을 이어가는 게 좋을지 고민 중입니다.추가로, 데이터 엔지니어링이나 데이터 분석 관련 직무에 가려면 어떤 역량을 쌓아야 하는지도 알고 싶습니다. 부족한 부분을 채우기 위해 참고하고자 하니, 조언해 주시면 감사하겠습니다.읽어주셔서 감사합니다.

근육뽀이 · Answer

애초에 데이터분야는 석사나 경력직 아닌이상 안뽑을텐데요

mickey92 · Answer

k8s에 kubeflow, 카프카 갖고 놀아보시죠

allinux · Answer

아무래도 ETL 이나 ELT 작업이 많습니다.보통 골치아픈 작업이 비정형이나 반정형 데이터를 정규화하는 작업이 많고(예를들어 로그등) 대량의 처리를 안정적으로 해야 되는 경우가 많습니다.구체적인 예로 디바이스에서 들어오는 로그 데이터들...로그 데이터 특성상 깨질수도 있고 사용자가 임의로 넣은 이상한 문자들도 있기 마련인데...이것들을 처리해서 분석가들이 사용하기 좋은 형태로 만드는 작업등이 있습니다.보통 spark 같은 분산처리 솔루션을 사용하게 되고 dataframe 라이브러리도 사용하게 됩니다.현재 데이터엔지니어링 분야에서 rust로 작성된 도구들이 많이 보이고 있고 그 도구들을(보통 pyo3 사용하여) python에서 사용할 수 있게 래핑되는 경우가 많습니다.스토리지는 클라우드(s3등)를 활용하여 적재되고 acid 지원을 위한 테이블 포맷(deltalake, iceberg 등)을 추가하는 경우도 많습니다.주저리 주저리 생각나는대로 적고 있습니다만 데이터 분석과 데이터 엔지니어링은 많이 다르니 잘 판단하시기 바랍니다.

데이터엔지니어가 되기 위한 앞으로의 길 중 고민

3개의 답변

#dataengineer 목록