스프링+플라스크(딥러닝) 통신

Question

프로젝트로 스프링으로 웹을 띄우고, 스프링에서 user로 부터 이미지를 받으면, 딥러닝 서버로 해당 이미지를 전달해서 또 다른 이미지를 다량 생성후 S3에 업로드 하고, 해당 작업이 완료 되었음을 스프링 서버로 전달하여, 스프링서버에서 해당 파일을 s3를 통해 다운로드 하는 로직을 구현하려고 합니다.다름이 아니라, 위와 같은 로직의 경우 user가 동시에 이미지 생성 요청을 보낼 수 있다고 생각하여 비동기적으로 처리해야한다고 생각합니다. 따라서 스프링에서 Async 와 관련된 처리를 해주고 있습니다.비동기에 대해 공부하고 스프링 서버에서 플라스크(이미지 생성)서버로 요청을 비동기적으로 보내서 플라스크에서 요청을 다 처리하고 스프링에 응답 주는 형식으로 코드를 짜려고 하는데, 궁금증은 이렇게 처리하는게 올바른 방식인지 잘 모르겠습니다. 스프링에서 비동기적으로 처리한다면, 요청을 받는 플라스크 서버에서는 다중 요청을 받을 수 있어야되는데, 플라스크의 경우 싱글 스레드 방식을 사용하기 때문에 의도적으로 이 부분도 멀티 스레드를 이용해야 하는건가요? 제가 생각하기에는 자원간의 공유가 필요없으므로 멀티스레드 보다는 멀티 프로세스를 이용하여 다중 요청을 해결하는 편이 나을것 같은데 의견 부탁드립니다.또한, 만약 플라스크 서버에서 이미지 생성하는게 오래걸리는 경우(30분~1시간) 프로세스 풀이나 스레드 풀이 유지가 되는지 의문입니다.많은 답변 부탁드립니다!!

Devvy · Answer

&#34;스프링에서 비동기적으로 처리한다면, 요청을 받는 플라스크 서버에서는 다중 요청을 받을 수 있어야되는데, 플라스크의 경우 싱글 스레드 방식을 사용하기 때문에 의도적으로 이 부분도 멀티 스레드를 이용해야 하는건가요?&#34;-> 싱글스레드에서도 다중 요청이 처리가 가능합니다. 싱글스레드에서 작업을 비동기적으로 처리하는 방법이 있겠습니다.플라스크서버가 딥러닝서버로 사용되므로 CPU 연산이 많을 것으로 예상됩니다. 싱글스레드 형태로 서버를 운영했을때 CPU 연산이 많게되면 해당 스레드가 CPU 연산작업을 수행하는동안 다른 작업(e.g. client API request 수신 및 처리)이 불가능합니다. 따라서 플라스크서버를 다중 스레드로 운영하는게 맞다고 생각합니다.&#34;제가 생각하기에는 자원간의 공유가 필요없으므로 멀티스레드 보다는 멀티 프로세스를 이용하여 다중 요청을 해결하는 편이 나을것 같은데 의견 부탁드립니다.&#34;-> 자원간의 공유가 필요없는 경우 멀티스레드 대신 멀티 프로세스를 사용했을 때 이점이 무엇인지 궁금합니다. 그리고 멀티스레드를 사용한다고 가정하더라도 공유되는 자원이 존재합니다. 예를 들어 플라스크 실행을 위한 자원이 스레드간 공유됩니다.&#34;또한, 만약 플라스크 서버에서 이미지 생성하는게 오래걸리는 경우(30분~1시간) 프로세스 풀이나 스레드 풀이 유지가 되는지 의문입니다.&#34;-> API 요청에 대한 응답이 긴 이미지 생성으로 인해 지연되는 경우(30분 ~ 1시간), 이미지 생성이 완료되면 플라스크 서버에서 스프링 서버로 이미지 생성이 완료됐음을 알리는 메시지를 전달하면 될 것 같습니다. 메시지 전달 방식은 REST API, message queue 등 다양한 방법이 있습니다.-> 프로세스가 실행되고 있는 동안(플라스크), 해당 프로세스는 유지됩니다. 스레드 풀도 마찬가지로 스레드가 실행되는 경우라면 별도 작업 없이는 자동으로 제거되지는 않습니다.

장독깨기 · Answer

질문이 좀 혼란스럽군요. ㅎ정리하면 사용자에게 이미지를 전달받고 관련 이미지를 다양하게 생성해서 사용자에게 전달하고 싶은거죠.사용자에게 이미지를 주고 받는 곳은 웹 환경일테고, 이건 스프링 프레임웍으로 개발하는 것이구요,그리고, 실제 이미지를 입력받아 다양한 이미지를 생성하는 프로세스가 있을텐데요,이 프로세스가 딥러닝 서버란 곳에 있지 싶고, 실제 생성을 담당하는 이 프로세스를 생성프로세스라고 하겠습니다.그럼, 여기서 스프링과 생성프로세스 사이에 데이터를 주고 받기만 하면 되는거겠죠.생성 프로세스가 어케 구성되어 있느냐에 따라 좀 다르긴 한데요,저 생성 프로세스가 항상 떠있는 데몬 프로세스이면, 메시지 브로커(RabbitMQ 등) 를 이용하면 됩니다.이럴 경우 스프링과 생성 프로세스에서 메시지 브로커와 데이터를 주고 받는 모듈을 포함시켜야 합니다.근데, 플라스크를 언급한걸 보면, (플라스크 잠시 알아보니 웹프레임웍이군요.)플라스크에서 저 생성프로세스를 실행시켜 이미지를 생성하지 않을까 하는 생각이 듭니다.그럼 스프링에서 플라스크로 api 호출해서 요청하고, 플라스크는 이미지 생성 후 스프링으로 api 호출하면 될 것 입니다.지금 보면, 이런 상황에서 스프링, 플라스크에서 비동기, 멀티스레드 관련해서 의문이 좀 있는거 같은데요.일단, 스프링 쪽에서는 비동기, 어싱크 이런 처리할 필요 없습니다.사용자로부터 이미지 받는데로 플라스크로 전달하면 됩니다. 아무 이상없습니다.그리고, 플라스크 쪽를 잘 모르긴 하지만, 싱글스레드라면 이미 비동기로 처리하고 있다는 얘깁니다.그니까, 플라스크 쪽을 추가로 멀티프로세스니 스레드니 처리해줄 필요는 없어 보입니다.상황을 잘 모르니 조금 추정해서 말씀 드려봤습니다.중요한건 저 이미지를 생성하는 프로세스가 어케 구성되어 있느냐 이 부분인거 같습니다.

스프링+플라스크(딥러닝) 통신

2개의 답변

Q&A 목록