비속어 DB를 구할수있는곳이 있을까요?

Question

비속어 필터링 기능을 구현하려고 합니다. 구글링으로 구해본 비속어 데이터는 문장자체 데이터셋이라 비속어 단어 단위의 데이터가 아니더라구요 단어 단위의 데이터를 구하고 싶은데 다운 받을수있는 곳이 있을까요?

캐티 · Answer

꺼무위키 ..나무위키 욕설/한국어에 아주 많은 사람들이 데이터를 등록하였어요.신기하지 않나요.

allinux · Answer

비속어라는 것이 문장에서 뉘앙스나 상황을 봐야 하는 경우가 많습니다. 그러니까 욕으로 사용되는 "개새끼" 라는 단어도 상황에 따라 욕이 되기도 아니기도 하기 때문입니다. 즉 단순 단어 필터링으론 정확도가 너무 떨어질 수 있고 문장들을 대상으로 머신러닝을 통해 모델을 만드는 것이 좋다고 생각이 됩니다.

구로막차 · Answer

여기 참조해보세요.https://smilegate.ai/2020/12/21/korean-curse/

siva6 · Answer

채팅 운영할 때, 계속 추가해가면서 만들었습니다.'ㅂ ㅏ ㅂ ㅗ' 이렇게 쓰는 사람도 있어서, 자모음을 합쳐서 비교도 해야 했었구요.'ㅂ r 보' 이렇게 쓰는 사람도 있고...모니터링 하면서 계속 추가 대응하는 방법 뿐이더구요.

더미 · Answer

비속어 단어 단위 데이터는 개인 정보 보호 및 윤리적인 문제로 인해 공개적으로 배포되는 경우가 드뭅니다. 하지만, 다음과 같은 방법을 통해 비속어 단어 데이터를 수집하거나 활용할 수 있습니다.1. 직접 수집 및 구축:커뮤니티, 뉴스 댓글, 소셜 미디어 등에서 비속어 단어를 수집: 웹 크롤링이나 데이터 분석 도구를 활용하여 데이터를 수집할 수 있습니다. 하지만 저작권 및 개인 정보 보호 문제에 유의해야 합니다.비속어 사전 참고: 국립국어원에서 발행하는 "표준국어대사전" 등의 사전에서 비속어를 참고하여 목록을 구축할 수 있습니다.자체 필터링 규칙 정의: 비속어의 특징(음운, 형태, 의미 등)을 분석하여 자체적인 필터링 규칙을 정의할 수 있습니다.2. 외부 API 활용:네이버 Papago API: 네이버 Papago API의 언어 감지 기능을 활용하여 비속어를 감지할 수 있습니다. (단, 모든 비속어를 완벽하게 감지하지는 못할 수 있습니다.)전문 비속어 필터링 서비스: 몇몇 기업에서는 유료 비속어 필터링 API 또는 서비스를 제공하고 있습니다.3. 오픈 소스 활용:GitHub 등: GitHub에서 비속어 필터링 관련 오픈 소스 프로젝트를 찾아 활용할 수 있습니다. (단, 프로젝트의 신뢰성 및 업데이트 여부를 확인해야 합니다.)주의 사항:비속어 데이터는 지속적인 업데이트가 필요합니다: 신조어, 변형된 비속어 등이 계속해서 등장하므로, 비속어 데이터를 주기적으로 업데이트해야 합니다.과도한 필터링은 표현의 자유를 침해할 수 있습니다: 비속어 필터링은 필요하지만, 과도한 필터링은 정상적인 표현까지 제한할 수 있으므로 적절한 수준을 유지해야 합니다.문맥에 따라 비속어 여부가 달라질 수 있습니다: 단어 자체만으로는 비속어 여부를 판단하기 어려운 경우가 많으므로, 문맥을 고려한 필터링이 필요합니다.참고 자료:국립국어원 표준국어대사전: https://stdict.korean.go.kr/네이버 Papago API: https://developers.naver.com/docs/papago/papago-nmt-overview.md비속어 필터링은 섬세하고 복잡한 문제이므로, 다양한 방법을 조합하여 최적의 필터링 시스템을 구축하는 것이 중요합니다.

비속어 DB를 구할수있는곳이 있을까요?

5개의 답변

Q&A 목록