공공데이터 csv 파일 가져와서 db에 넣으려고 하는데 파일이 외계어로 뜨면서 Parsing 에러가 뜹니다

Question

org.springframework.batch.item.file.FlatFileParseException: Parsing error at line: 1 in resource=[class path resource [csv/food.csv]], input=[��ǰ�ڵ�,��ǰ��,��ͱ��ڵ�,��ͱ��и�,��ǰ��ڵ�,��ǰ��,��ǰ��з��ڵ�,��ǰ��з��,��ǥ��ǰ�ڵ�,��ǥ��ǰ��,��ǰ�ߺз��ڵ�,��ǰ�ߺз��,��ǰ�Һз��ڵ�,��ǰ�Һз��,��ǰ��з��ڵ�,��ǰ��з��,��缺��Է��ط�,��(kcal),��(g),�ܹ��(g),��(g),ȸ��(g),ź��ȭ��(g),��(g),��̼��(g),Į��(mg),ö(mg),��(mg),Į��(mg),��Ʈ��(mg),��Ÿ�� A(��g RAE),��Ƽ��(��g),��Ÿī��ƾ(��g),Ƽ�ƹ�(mg),��ö��(mg),�Ͼƽ�(mg),��Ÿ�� C(mg),��Ÿ�� D(��g),�ݷ��׷�(mg),��ȭ��(g),Ʈ��(g),��ó�ڵ�,��ó��,��ǰ�߷�,��ü��,��ͻ��ڵ�,��ͻ��,��ͻ��,��ͱ��,��ڵ�,��] at org.springframework.batch.item.file.FlatFileItemReader.doRead(FlatFileItemReader.java:189) ~[spring-batch-infrastructure-4.3.8.jar:4.3.8] at org.springframework.batch.item.support.AbstractItemCountingItemStreamItemReader.read(AbstractItemCountingItemStreamItemReader.java:93) ~[spring-batch-infrastructure-4.3.8.jar:4.3.8]이런 에러 메시지가 뜨면서 안 되는데 제가 그냥 csv 파일을 인텔리제이에서 열어봐도 외계어로 보여요...아마 에러 뜨는 이유가 UTF-8 변환이 안 되서인 것 같은데... 이유가 뭘까요?똑같은 csv 파일을 엑셀로 열거나 메모장으로 열면 한글로 잘 보입니다(인텔리제이나 vs code 같은 IDE에서 볼 때만 이렇게 깨져서 보입니다.설정들은 웬만한 건 다 확인해봤습니다.이렇게 설정 다 확인하고 껐다 켜봤는데도 안 됩니다...ㅠㅠ이유가 뭘까요..............아니면 혹시 에러 뜨는 게 이게 이유가 아닐까요??밑에는 혹시 몰라서 코드도 같이 올려봅니다 csv 파일 읽을 때 flatFileItemReader.setEncoding("UTF-8"); // 인코딩 설정 관련해서 써놨습니다 ㅠㅠ............. 고수님들 부탁드립다@Configuration @RequiredArgsConstructor public class CsvReader { @Bean public FlatFileItemReader csvFoodReader() { /* 파일읽기 */ FlatFileItemReader flatFileItemReader = new FlatFileItemReader<>(); flatFileItemReader.setResource(new ClassPathResource("/csv/food.csv")); // 읽을 파일 경로 지정 flatFileItemReader.setEncoding("UTF-8"); // 인코딩 설정 /* defaultLineMapper: 읽으려는 데이터 LineMapper을 통해 Dto로 매핑 */ DefaultLineMapper defaultLineMapper = new DefaultLineMapper<>(); /* delimitedLineTokenizer : csv 파일에서 구분자 지정하고 구분한 데이터 setNames를 통해 각 이름 설정 */ DelimitedLineTokenizer delimitedLineTokenizer = new DelimitedLineTokenizer(","); // csv 파일에서 구분자 delimitedLineTokenizer.setNames( "foodCode", "foodName", "dataCategoryCode", "dataCategoryName", "originCode", "originName", "categoryCode", "categoryName", "representativeFoodCode", "representativeFoodName", "subCategoryCode", "subCategoryName", "subSubCategoryCode", "subSubCategoryName", "nutrientStandardAmount", "energyKcal", "moisture", "protein", "fat", "ash", "carbohydrates", "sugars", "dietaryFiber", "calcium", "iron", "phosphorus", "potassium", "sodium", "vitaminA", "retinol", "betaCarotene", "thiamine", "riboflavin", "niacin", "vitaminC", "vitaminD", "cholesterol", "saturatedFattyAcids", "transFattyAcids", "sourceCode", "sourceName", "foodWeight", "companyName", "dataCreationMethodCode", "dataCreationMethodName", "dataCreationDate", "dataStandardDate", "providerCode", "providerName" ); // 행으로 읽은 데이터 매칭할 데이터 각 이름 defaultLineMapper.setLineTokenizer(delimitedLineTokenizer); // lineTokenizer 설정 /* beanWrapperFieldSetMapper: 매칭할 class 타입 지정 */ BeanWrapperFieldSetMapper beanWrapperFieldSetMapper = new BeanWrapperFieldSetMapper<>(); beanWrapperFieldSetMapper.setTargetType(FoodDto.class); defaultLineMapper.setFieldSetMapper(beanWrapperFieldSetMapper); // fieldSetMapper 지정 flatFileItemReader.setLineMapper(defaultLineMapper); // lineMapper 지정 return flatFileItemReader; } }

최은영 · Answer

원본 문서가 ANSI 타입으로 설정 되어있는거 같네요.파일 자체의 인코딩 설정을 바꿔보세요.

Clickin · Answer

윈도우에서 엑셀로 열었을 때 잘 읽힌다면 파일 인코딩이 euc-kr입니다그걸 억지로 utf-8로 읽으려고 하시니 오류가 발생합니다.두 문자셋에서 영어는 코드표가 똑같기 때문에 정상적으로 표기되는거고요

공공데이터 csv 파일 가져와서 db에 넣으려고 하는데 파일이 외계어로 뜨면서 Parsing 에러가 뜹니다

2개의 답변

기술 목록