PHP 크롤링 한글깨지는 현상(MS949)

Question

PHP Snoopy 라이브러리 통해서 네이버 영화 데이터를 크롤링해보려고합니다. 해당 사이트(https://movie.naver.com/movie/point/af/list.nhn?st=nickname&sword=17342371&page=11)를 크롤링하면 한글이 모두 깨져서 나옵니다. 페이지 response header에 content-type을 보면 text/html;charset=ms949 로 나오더라구요. MS949 때문에 한글이 깨지는거 같아서 찾아보니 MS949는 CP949로 된다고 하길래 iconv나 mb_convert_encoding 등 인코딩을 해봐도 한글이 깨져서 나옵니다 ㅠㅠ 어떻게 해야할까요? 조언 부탁드립니다... 아래는 코드입니다.-----------------------------fetchtext($url);$file = $snoopy->results;//$file = mb_convert_encoding($file, "EUC-KR", "CP949"); //$file = mb_convert_encoding($file, "UTF-8", "CP949");//$file = iconv("CP949", "EUC-KR//IGNORE", $file);//$file = iconv("CP949", "UTF-8//IGNORE", $file);print_r($file);?>----------------------result : ��}kW��g�V�é�6�t�lC�vB}��4]ZB@��QF#c�y�ޟA�$M�`H��K�\ڦoꔶ�]�~B��z�>g��w%�*6h4s�>��3�<��Hտ]��gգ��0]V��T!��ށ��S�?H��x7��O�C]��Q��0��ع.[��K/u��l$¾u�$��@0{Id8,&9��KE:Ί��P��8��+�$�Rl n�w��qX��H�B��]�ν'62V��8��\��s�h�#I��/8��N��X��I�ݵ�HI)$��L^�Ws��n�HX��f��܆j�pA�U D�#�$A��^#{k�h�׬�1��boB|y�t� ��$;��AJ��YRz)}��2�g-�̲�Xp�E(��LMW+YJ�;B��AG<��0�XR��c��|x�{4<�؛�h��=~��r��6 eKJ ��*61(�t�?r��kO�(Y��A��Q��D�ttt7"�B�=�pjd��⧫趓�`h1��J�I]Ѯ�k�ǚ��.�߮}��\�˖XR$%��ܠ-��*��첂Y��Ûv�c#(�]6*��~7Z��ձn�^�l��h0@h��B�Ks��6O�j$�T��+٭CB�"��ct��31>*��0�"1:R�~��t�M9 �;��H�ύ��ڍ��{��d��HӖ�� Yډ�8i7�/`Tl��#��El� d#��ߤ�^h�D��*�Z -e~�+.�W�ۑ��Ч��(�l�G[��=ʚ�R�ً��@�x�{��8Qi��XU[��(�P�&�D��P�E��6�9m6��m�B�60�1q��6�6q]^�WI��o�֧>�v��S��f�w G� *#�c�DNJ� &a�_M��:!S��q��E c |�]�ӿ��Q�7�(�]�q|�>чδ��p�f�ؙq�r0`pǑ�m�R��H�3�H��c�(��[�"�0��)6x� ��VF�{��8P�vI# `kT��F7;k�2H�L]�� R�*��P�P��!z�t�v��=;Gb`G�p��x8�� o��P�h"��hHQa�A��`�bCa��=��Ğ!Tl`w��ɾ��dt�X�7�ۈ2��(��H�?�F�!� mmv��S�xH:HD��#.*�tRc��á�P��M��%댮��$'��m�I�e/�4pARi�T��"�B�T2[��Ϡ:4��b��ϡ��u ��upK Z��x�elR�Fq��TL�YK�M| ��GzO��V�_�!�fH�Uo5�R�jO�� ͍��F��U��R1V�YD(��O5#%�ê��y� �zF�"{�TT�T�a��=@'�ȡVAC@�A�� #��"�U6S�İVh\u�$M�jvs�� U�&�Q��gNra12|��H�Z�.uM�GPZ��UޤaI��$�+�l#�w��=ν�XP��r�N��H�bST��'^��q��"T��m#��c�(ǫ��\�M@R��m��[��1.>{�#ramT�

킁킁탐정 · Answer

단순하게 한글을 브라우저로 출력하면 자동으로 인코딩을 인식하지 못하면 깨져나옵니다.이 부분에 관한 언급이 없어서 순선대로 다음과 같이 테스트해보시기를 권해드립니다. 1. 받은 그대로 변환 없이 euc-kr/cp949로 출력브라우저로 출력한다고 가정한다면 같은 인코딩 지정 메타 태그가 필요합니다.2. 변환하고 싶은 인코딩으로 iconv로 변환하여 출력예를들어 utf-8로 변환한다고 가정하면 1번과 마찬가지로 변경합니다.

igg · Answer

킁킁탐정님 시간내주셔서 답변해주신거 감사합니다!말씀해주신대로 테스트를 진행해봤는데 동일하게 한글이 깨지네요ㅠㅠㅠmeta 태그에 euc-kr/cp949/utf-8 다 해보고, php header에 charset도 넣어봤는데 해결이 안되네요...아래는 샘플코드와 결과입니다.. 답변해주셔서 감사합니다----------------- fetchtext($url); $file = $snoopy->results; //$file = mb_convert_encoding($file, "EUC-KR", "CP949"); //$file = mb_convert_encoding($file, "UTF-8", "CP949"); //$file = iconv("CP949", "EUC-KR//IGNORE", $file); $file = iconv("CP949", "UTF-8//IGNORE", $file); print_r($file); ?> ---------------------------------듔忍骸[풩燥f?哲옹鳶$邁,귦꽺6앤y퀾뿒뤝 [爛룑뚆쏸쐬꺴I슕잚 뤒HG庵뫰홍vm卵uJS풀S汾n俗}{九쭪뙸뮲됉::gf紘戒퐂咽y졾겒孑?둑찱5?7튮릍(H履復存?B8牒愁巳?=y꼳댇h7騈O ?브gy시측猜炳T蝕뿥뿈?\杻=뽤,$컁uYD壯hC0Ih$($9콏K꾵鉗뼒P욏xぇ짋롢괷d0㈔撞쨱sXM?뢾H|곎캇.K똲댡궱害蔓싲롵馭쏍 FDCW薨'k씒斛ベ儼!!뫮#|魄斃|墺A@琓Iv"쓷.約ㆄRz쎚陋g-뵆밀횴p?(쑷∂BM괫+EJ왱|$.苗C턧$)Z損劑뭕W<:틘뇗궂쥑(/꽰^쀛煜:鈺쭻쀃!3동+藕XR??맣9機`걩I[?c㎓렲螺5慄귎쨒俯쵕봏PI綠蘿닶2뉌⒧`U킹쎌밋귞q꺯⑿쎭U咨밥eИ>膾S?;띋誥걢vY뫞K쩊궃톾拉%밦kB敍p?V딎쟷C즙x飢,u똥B5픳죨찍F뗚귃??濾뗛依뚐h0@㉵[O뚺崖#'*堅へJ&驥핔?뗁0M`>E+陪훘w妹N㏁~K蟲Ag?7瘦村_>꽮?*z?嚬쵬0護tD엸G캇z뢨뗶퀮z購귞껋츉$뀗聆솮M量G,퇍IZ믹彎?n z)4툟'硅:?溪炤奮꽦C됏X얎탧瓔썄>(쮠<杵蘂qn뵜To댄?눿g(攝H끍?랇mI콨眷쪤뉯a쀑卓?AE끛<"]]칙B洲?E*裡멕^篩バ?졤R?泂bm뽝撮k捻퀳?캌;쇽誨빊썶선컲匈A싛샎廳e?ゼo쀾낾Pa꾪81%?쇑겲숰쯷(B竪q+ 崙@坦I귑퓦퀑0襤굥=Ch쀥a.괊O 責3膏a8m3?E凝8껞0툜(敢^㈏mㆅ㎛혼冬?뵘렷Z돩먱でO岾dhニ텚爛탔F폥7潼뼛X쵤櫻ⓙ嘗e뚂㎬뤛,eナ義`4휕M공9줨半円힙)l￦@삦K摹芒Z‰@괌dj0섽먇붴힝쨐X냱y뎆垂>P陌\HE冒6쒢 v멦允$滾쯍좚?롞饑믄湞h찶7寯滋 렙kF亘럁믲Τ縱!] 깅?Hb顫넘듒퓤F쭘H쀇co'#뉘.h?틽L今穢aJF얟뾻~孝ht쩍?. 償홊%禮릚 鉤묊ｌ敏8ゑ琸O硯좥歸錡 죾h촀좤IU첧뾝Z鏶쩗돳陜饒膺ぱ{8r얛욘띐읓8金`2饅?쟽9뚷;座!z03턇i퐠럔渫粕平3\ D궯8E냳픏k*? =쵤켂l番?뚬習盒댈G볃宣Uh액邁蒐靑D뮌뚂Z黑7:ik퀯욣돿C旗B米歆qP덴믖긳善?Om6Y뀙ヴ8mm a瀧1ZO?$?귱?mkM곷{줉툩1?쌇@

Hide_D · Answer

header('Content-Type: text/html; charset&#61;utf-8');<meta charset&#61;&#34;utf-8&#34;/>$file &#61; mb_convert_encoding($file, &#34;UTF-8&#34;, &#34;CP949&#34;); 셋이면 원칙적으로 잘 작동하는게 맞구요. (header는 파일 시작부에 아무 내용도 출력하기 전에 호출하셔야합니다~) 다만 인코딩 문제면 영문, 숫자는 잘 보여야되는데 안보이는걸 봐선 아예 다른 문제인 것 같아서 코드를 찾아봤습니다. https://github.com/azizsagi/Web-Crawler-Using-Snoopy-Class-PHP/blob/master/Snoopy.class.php#L736요 코드를 보니 &#34;Content-Encoding: gzip&#34;를 찾는데, 샘플 파일 헤더를 보니 &#34;content-encoding: gzip&#34;로 되어있어서대소문자가 다른 것 같더라구요? 그러니 라이브러리에 버그가 있어서 gzip 압축된 걸 압축 해제를 못해서 문제가 생긴듯 합니다.preg_match(&#34;/Content-Encoding: gzip/i&#34;, $currentHeader) 로만 바꾸어도 해결되지 않을까~ 싶네요 &#43; Guzzle 쓰세요..............

킁킁탐정 · Answer

PHP 테스트 환경이 없어서 다른데서 잠깐 테스트해본 결과 fetchtext()가 근본적인 문제가 있습니다. fetch()로 변경하시고 iconv('cp949', 'utf-8//ignore', $file)를 사용하시면 정상적으로 출력됩니다.물론 <meta charset&#61;'utf8' /> 도 포함해주셔야합니다.문제의 시작은 text만 가져오기 위해 문자를 제거하는 과정에서 발생합니다.원인이 되는 함수는 다음과 같습니다.https://github.com/endroy/Snoopy/blob/5717e919f15ce5a22b491027c0b74aeff6abd639/Snoopy.class.php#L669

igg · Answer

Hide_D님, 킁킁탐정님 두분다 상세하게 답변해주셔서 정말 감사합니다.두분 답변 참고해서 정상적으로 처리했습니다. Hide_D님이 말씀해주신 Guzzle에 대해서도 좀 더 찾아봐서 라이브러리를 변경해보려고합니다.감사합니다!

PHP 크롤링 한글깨지는 현상(MS949)

5개의 답변

#ms949 목록