java와 js에서 euc-kr 인코딩 결과 값이 다릅니다.

Question

입력으로 문자열이 들어올때 해당 값을 euc-kr로 변환하면 깨지는지 확인을 하려고 합니다.euc-kr에서 깨지는 &#34;홯&#34;, &#34;샾&#34; 등등 이런거를 섞어서 테스틀 해봤습니다.import java.nio.charset.Charset; import java.util.Arrays; public class JavaTest { public static void main(String[] args) throws Exception { String original &#61; &#34;가, 홯&#34;; String eucKr &#61; toEucKr(original); System.out.println(eucKr); //가, ? System.out.println(original.equals(eucKr) ? &#34;일치&#34; : &#34;불일치&#34;); //불일치 } public static String toEucKr(String str) throws Exception { byte[] bytes &#61; str.getBytes(Charset.forName(&#34;euc-kr&#34;)); System.out.println(Arrays.toString(bytes)); //[-80, -95, 44, 32, 63] return new String(bytes, &#34;euc-kr&#34;); } }자바로 테스트 하면 홯 문자가 ?로 깨지는걸 확인하였습니다.import iconv from &#34;iconv-lite&#34;; function toEucKr(str: string) { const buffer &#61; iconv.encode(str, &#34;euc-kr&#34;); console.log(buffer); //[176, 161, 44, 32, 195, 108] const int8Array &#61; new Int8Array(buffer); console.log(int8Array); //[-80, -95, 44, 32, -61, 108] return iconv.decode(buffer, &#34;euc-kr&#34;); } const original &#61; &#34;가, 홯&#34;; const eucKr &#61; toEucKr(original); console.log(eucKr); //가, 홯 console.log(original &#61;&#61;&#61; eucKr ? &#34;일치&#34; : &#34;불일치&#34;); //일치브라우저 크롬에서 진행하였고 TextEncoder은 UTF-8만 지원 한다고 하여 라이브러리를 사용하였습니다.인코딩한 버퍼가 Uint8Array 타입으로 리턴하여 int8로 변환도 해봤습니다.그런데 자바에서는 깨지던 문자열이 js에서는 깨지질 않습니다.확인해보니 리턴하는 바이트 배열이 자바와 다른게 보입니다.깨지지 않는 &#34;가, &#34; 은 같은데 &#34;홯&#34; 은 다르게 변환되는데 이유를 모르겠습니다.제가 뭘 실수한건지 모르겠습니다.어떻게 동일한 결과값(깨지게)으로 만들수 있을까요?

Gear · Accepted Answer

iconv는 EUC-KR로 인코딩 하라고 해도, 실제로는 EUC-KR의 확장판인 CP949로 인코딩 하는 것 같습니다.EUC-KR 테이블을 보면 "홯"이 존재하지 않지만, CP949 테이블을 보면 홯은 0xC36C 코드를 갖고 있음을 알 수 있습니다.0xC3 = 1950x6C = 108제가 잘못 이해한건진 몰라도,https://github.com/ashtuchkin/iconv-lite/blob/928f7c68e1be51c1391c70dbee244fd32623f121/generation/gen-dbcs.js#L151여기 아래쪽을 보면Fill out EUC-KR Table and check that it is the same as cp949.EUC-KR을 채우고 CP949와 같은지 확인한다는 주석이 적혀있습니다.문자열을 TextDecoder를 활용하여 비교하는 방식으로 "?"로 교체해주면 같은 결과를 볼 것 같습니다.import iconv from "iconv-lite"; const encodeEucKR = (message) => { const encoded = iconv.encode(message, "euc-kr"); const compareMessage = new TextDecoder("euc-kr").decode(encoded); const decoded = message.split("").map((v, i) => v === compareMessage[i] ? v : "?").join(""); return iconv.encode(decoded, "euc-kr"); } const encoded = iconv.encode("홯", "euc-kr"); // 불필요한 부분인데 실수로 넣었습니다 console.log( [...new Int8Array(encodeEucKR("가, 홯"))] ); // [ -80, -95, 44, 32, 63 ]추가 내용 1import iconv from "iconv-lite"; const encodeEucKR = (message) => { return message.split("").map(v => { const encoded = iconv.encode(v, "euc-kr"); const [a, b] = encoded; if (b) { if (0xa1 <= a && a <= 0xfe && 0xa1 <= b && b <= 0xfe) { return [a, b]; } return 63; } if (0 <= a && a <= 0x7F) { return a; } return 63; }).flat(); } console.log( [...new Int8Array(encodeEucKR("가, 홯"))] ); // [ -80, -95, 44, 32, 63 ]

lazer · Answer

홯이 공식스펙상 euc-kr 이 지원하는 문자가 맞나요? 아닌것 같아요.홯은 iconv 라는 라이브러리에서 지정한 charset 에서 없으면 utf 에서 찾아 리턴하는게 아닐까? 싶네요

java와 js에서 euc-kr 인코딩 결과 값이 다릅니다.

2개의 답변

#encoding 목록