테슬라가 2021년에 레이더 빼버린 진짜 이유... 파이썬 코드로 직접 돌려본 '카메라 자율주행'의 과거와 현재

운전하다 보면 테슬라 차량들이 유독 멀쩡한 도로나 날씨 좋은 날 갑자기 멈칫하며 급제동을 거는 일명 '팬텀 브레이킹(유령 브레이크)' 이야기를 한 번쯤 들어보셨을 겁니다.

2021년 5월, 테슬라가 "앞으로 레이더 센서를 전면 제거하고 100% 카메라인 '테슬라 비전(Tesla Vision)'으로 가겠다"고 선언했을 때 업계는 충격을 받았습니다. 웨이모나 크루즈 같은 다른 자율주행 업체들은 비싼 라이다(LiDAR), 레이더, 고정밀 지도(HD Map)를 추가하던 시절이었기에 완벽히 반대로 간 행보였죠.

"대체 카메라만 달린 차가 도로를 어떻게 인식하길래 초기에 유령 브레이크가 걸렸던 걸까?" 파이썬(Python) 컴퓨터 비전 알고리즘으로 기초 시뮬레이터를 구현해 직접 테스트를 돌려봤습니다.

초창기 비전 알고리즘과 파이썬 테스트 코드

카메라 영상에서 객체를 탐지하고 시각화하는 핵심 파이썬 스크립트 구조는 다음과 같습니다.

Python

import cv2

# 비디오 파일 및 객체 인식 모델 로드
cap = cv2.VideoCapture('dashcam_footage.mp4')
car_cascade = cv2.CascadeClassifier('haarcascade_car.xml')

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 연산 속도와 인식률을 위해 흑백 변환 후 객체 탐지
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    cars = car_cascade.detectMultiScale(gray, 1.1, 1)

    # 탐지된 위치에 빨간색 사각형 시각화
    for (x, y, w, h) in cars:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 5)

    cv2.imshow('Tesla Vision Simulator', frame)
    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

가독성을 위해 핵심 흐름만 요약했으며 상세 코드는 깃허브를 참고해 주시기 바랍니다.

위 시뮬레이션 화면을 보면 도로 위 실제 차량뿐만 아니라 공중에 달린 전선, 도로 표지판, 바닥에 깔린 진한 그림자까지 전부 장애물 상자(빨간 네모)로 오탐지하는 모습을 볼 수 있습니다.

컴퓨터 비전 알고리즘 입장에서는 순간적인 빛 반사나 명암 차이 때문에 "앞에 거대한 장벽이 나타났다!"라고 착각한 것입니다. 과거에는 전파를 쏘는 레이더가 크로스체크를 해주었지만, 레이더를 빼버리니 초창기 카메라가 빛의 장난에 속아 유령 브레이크를 밟았던 것이죠.

기존 차들이 겪는 '센서 노이즈 갈등' (작은 예시)

그렇다면 라이다와 레이더를 주렁주렁 단 기존 자율주행 차들은 완벽할까요? 전혀 그렇지 않습니다. 오히려 센서끼리 의견이 달라지는 '센서 노이즈 갈등(Sensor Conflict)'에 빠지게 됩니다.

• 대표적인 예시 (고속도로 철제 표지판): 고속도로 위 허공에 달린 거대한 금속 표지판을 만났을 때, 레이더는 정면에서 튕겨 나온 강한 전파를 보고 "전방에 거대한 정지 차가 있다!"라며 급제동 신호를 보냅니다. 하지만 카메라는 "허공에 달린 표지판일 뿐 도로가 뚫려있다"라고 판단합니다. 센서끼리 충돌이 일어나면서 시스템이 딜레마에 빠지게 됩니다.

도조(Dojo) AI와 현재의 자율주행 (어디까지 왔나?)

하지만 현재의 테슬라는 전 세계 테슬라 차량에서 수집되는 압도적인 주행 빅데이터, 도조(Dojo) AI 슈퍼컴퓨터, 그리고 FSD V12/V13 엔드투엔드(End-to-End) 신경망을 결합하며 판을 완전히 바꾸었습니다.

수십만 줄의 C++ 조건문 코드("빨간불이면 멈춰라" 식의 규칙 기반)를 전부 제거하고, 인간의 뇌처럼 순수 카메라 영상 입력만으로 핸들과 페달을 제어하는 인공지능 알고리즘으로 전환한 것입니다.

그 결과 초창기 비전 온리가 겪었던 팬텀 브레이킹이나 엣지케이스 오인식 문제의 대부분을 소프트웨어적으로 해결해 냈으며, 현재는 복잡한 시가지에서도 사람보다 유연하게 운전하는 단계까지 진화했습니다.

소스코드 및 분석 영상

카메라 비전 알고리즘이 초기에 어떻게 빛과 그림자에 속았는지 그 구조적 원리를 직접 실행해 보실 수 있도록 오픈소스로 공개해 두었습니다.

• GitHub 저장소: https://github.com/gohard-lab/tesla_vision_simulator

• YouTube 상세 분석 영상: https://www.youtube.com/watch?v=xWrnxjh1GnY

• 잡학다식 개발자 채널: https://www.youtube.com/@PolymathDev_KR