python pyodbc 로 대용량 csv 파일 읽어서 insert 할 때

Question

안녕하세요 오키 선배님들 python 코드로 pyodbc 를 사용하여 대용량 csv 파일을 읽어서 mariadb에 insert 하려고 합니다. 스크립트는 아래와 같습니다. import csv import logging import sys import os.path import pyodbc logging.basicConfig(format&#61;'%(asctime)s %(message)s', level&#61;logging.INFO) params &#61; 'DRIVER&#61;MySQL ODBC 8.0 ANSI Driver;UID&#61;{{ID}};Password&#61;{{PASSWORD}};Server&#61;{{IP}};Database&#61;{{database}};Port&#61;{{port}};charset&#61;utf8' cnxn &#61; pyodbc.connect(params) cursor &#61; cnxn.cursor() cursor.fast_executemany &#61; True docName &#61; r&#34;{{csv 파일 경로}}&#34; maxInt &#61; sys.maxsize while True: try: csv.field_size_limit(maxInt) break except OverflowError: maxInt &#61; int(maxInt/10) f &#61; open(docName, 'r', encoding&#61;'utf-8') rdr &#61; csv.reader(f) i &#61; 0 totCount &#61; 0 sucCount &#61; 0 insertSql &#61; &#34;INSERT /*&#43; append */ INTO {{테이블}} (field1, field2, ~ field42) VALUES(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)&#34; doTuple &#61; [] for line in rdr: if i &#61;&#61; 0: i &#61; i&#43;1 continue doTuple.append(tuple(line)) if i &#61;&#61; 1000: try: res &#61; cursor.executemany(insertSql, doTuple) cnxn.commit() logging.info(&#34;%s insert 완료&#34;, sucCount &#43; 1000) sucCount &#61; sucCount &#43; 1000 except Exception as ex: print(ex) doTuple &#61; [] i &#61; 0 logging.info(&#34;%s 건 진행완료&#34;, totCount &#43; 1000) totCount &#61; totCount &#43; 1000 i &#61; i &#43; 1 그런데 아래와 같은 오류가 납니다. ('Expected 0 parameters, supplied 42', 'HY000') 데이터 찍어보면 개수도 맞고 모두 올바르게 들어가있는데 왜 저런 메시지가 뜨는지 알 수가 없습니다 ㅠㅠ도와주세요 선배님들 ㅠㅠ

퇴근하고싶은자 · Answer

자답입니다.pyodbc는 pstmt 만들때 인자값을 %s로 받지 않고 ? 로 받네요. 아래와 같이 수정하면 됩니다. insertSql &#61; &#34;INSERT /*&#43; append */ INTO {{테이블}} (field1, field2, ~ field42) VALUES(?, ?, ?, ? ... ?)&#34; 감사합니다.

python pyodbc 로 대용량 csv 파일 읽어서 insert 할 때

1개의 답변

Q&A 목록