센서 동기화 에러 도움 부탁 드립니다

Question

안녕하십니까?ROS2 환경에서 Camera 와 IMU 센서 두가지로부터 데이터를 받아들여서연산 작업을 하고 있습니다Camera는 1초에 1번, IMU 센서는 1초에 5번 이런 식으로 데이터를 날려 줍니다(실제는 Camera는 1초에 30번, IMU 센서는 1초에 100번 데이터를 생성합니다.그러나 에러가 발생해서 현재 카메라는 1초에 1번, IMU는 1초에 5번 이렇게 변경했지만 여전히 에러가 납니다)하지만 두 장비는 서로 관계가 없으므로, 이를 적절히 동기화 시켜서 취합해서, 연산을 해야 하는데요아래의 소스 (깃헙에서 가져온)가 Segmentation Fault 에러를 냅니다카메라 캡쳐 이미지의 시퀀스와 IMU 센서의 데이터 시퀀스를 합쳐서 Sophus라는 패키지가 뭔가 수학 연산을 합니다여기에서 에러가 납니다아래는 간략히 정리된 소스입니다동기화에 어떤 문제가 있는지요? 어떻게 해결하는 것이 올바른 방법인지 도움 부탁 드립니다void MonoInertialSlamNode::SyncWithImu(){while (1){cv::Mat img;double tImg = 0;// print size of imu and image queueif (!image_queue.empty() && !imu_queue.empty()){//**************Camera 데이터로부터 기준 시간tImg = Utility::StampToSec(image_queue.front()->header.stamp);//***************Camera 데이터 하나의 프레임 img 획득mutexImageQueue.lock();img = GetImage(image_queue.front());image_queue.pop();mutexImageQueue.unlock();//****************IMU 센서 데이터 pool에서 tImg 시간대와 비슷한 시간의 데이터를 vImuMeas에 저장vector vImuMeas;mutexImuQueue.lock();if (!imu_queue.empty()){// Load imu measurements from buffervImuMeas.clear();//****************Camera 기준 시간을 토대로 IMU 센서 데이터의 특정 시간대 데이터 수집??????while (!imu_queue.empty() && Utility::StampToSec(imu_queue.front()->header.stamp) - this->time_shift <= tImg){double t = Utility::StampToSec(imu_queue.front()->header.stamp);cv::Point3f acc(imu_queue.front()->linear_acceleration.x, imu_queue.front()->linear_acceleration.y, imu_queue.front()->linear_acceleration.z);cv::Point3f gyr(imu_queue.front()->angular_velocity.x, imu_queue.front()->angular_velocity.y, imu_queue.front()->angular_velocity.z);vImuMeas.push_back(ORB_SLAM3::IMU::Point(acc, gyr, t));imu_queue.pop();}}mutexImuQueue.unlock();//********************** img와 vImuMeas를 취합하여 TrackMonocular에 입력Sophus::SE3f Tcw = m_SLAM->TrackMonocular(img, tImg, vImuMeas);// Sophus::SE3f Tcw = m_SLAM->TrackMonocular(img, tImg);//this->BroadcastCameraTransform(Tcw);}std::chrono::milliseconds tSleep(1);std::this_thread::sleep_for(tSleep);}}

mirheeoj · Answer

저 소스를 눈으로 보고 해석하기에는 조금 그렇고.. 경험상 멀티스레딩 관련해 동적할당된 버퍼에 동시접근하는 과정이나 타이밍 등에 문제가 있을 확률이 제일 높았습니다. 그러니 버퍼를 동적할당하지 말고 고정된 메모리를 써서 테스트해 보시든지, 실시간 데이터를 쓰지 말고 미리 저장해둔 동일한 프레임을 계속 라이브러리에 넘겨본다든지 하는 식으로 변수를 줄여나가면서 누가 문제인지를 잡아내야겠죠. 혹시 segmentation fault시 메모리덤프를 남길 수 있는 환경이라면 그걸 열어보시면 큰 도움이 될 거예요.

센서 동기화 에러 도움 부탁 드립니다

1개의 답변

#camera 목록