A/B 검증처리 알고리즘

분산 ai클러스터에 핵심 해결 과제가 있어요.

어느 컴퓨터에 계산 결과를 신용하기 곤란하는 문제이어요.

이거는 블록체인도 비슷한 처지인거 아나요.

비트코인은 51% 계산결과가 맞음 인정해주는거로 하였쩌.

ai는 이렇게 하면 낭비가 심하여서 곤란한데요.

한번 내지는 두번만 계산하여 컷을 쳐야 해요.

음 .. 이거로 한동안 계획을 틀었는데 오늘은 다른 생각이 났쩌.

이제 SATA 방식은 거의 안쓰는 추세인데 이시절 자료에는 어드밴스드 포멧 얘기가 나와요. 구간이 말렸쩌. 이럼 정렬이 틀어져서 한번 읽을 거를 두번 읽거나 심하면 버퍼에서 데이터 파편이 틀어져서 오버헤드가 나요.

(위에 그림 pcper.com 자료)

ai에서는 계산 결과를 무작위로 2개 받는데 같은 블록이 일치하는 방식으로 검증을 치룰수 있어요. 이럼 오류 검증이 되겠쩌. 그런데 누가 대량에 어뷰징을 친다면 잘못된 데이터를 먹을 여지가 있어요.

중복에 여지가 없어 보이는 랜덤이라 하더라도 대량으로 조지면 확률적으로 많이 엉겨요.

그럼 무작위 블록에 정렬을 틀어서 1번 컴퓨터는 정비율 2번 컴퓨터는 짭비율로 계산 결과를 업데이트 치고 컬렉터는 검증을 수행하는 거여요. 이렇게 하여서 어디서 어뷰징 데이터를 넣었음 블록을 폐기하면 되겠쩌.

데이터 블록 수는 천조가 넘을 거여서 사실 어뷰징 공격도 쉬운거는 아닌데 이렇게 틀어버리면 벼락과 로또를 동시에 맞을 확률보다 낮아요. 전에 어느 과학자가 그랬쩌. 상자에 비행기를 넣고 원자 단위로 뿌신 다음에 흔들어서 조합하면 비행기가 다시 나올 확률은 수학적으로 1이라 쳐도 현실적으로 0인 거라고 했어요.

여담 ..

이른 아침에 7시즈음 버그를 수정하고 8시 뜨아를 치는데 그냥 뎅하게 있었더니 새로운 해결 방법이 생각났어요. 다음 작업을 바로 치루느라 뜨아를 안쳤음 아마 몰랐지 않았겠나요. 이럼 운도 실력인 거나요.