2025-11-18T17:28:20.387006

Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text

Hussain, Qasim, Mehak et al.

The use of derogatory terms in languages that employ code mixing, such as Roman Urdu, presents challenges for Natural Language Processing systems due to unstated grammar, inconsistent spelling, and a scarcity of labeled data. In this work, we propose a QLoRA based fine tuning framework to improve offensive language detection in Roman Urdu-English text. We translated the Roman Urdu-English code mixed dataset into English using Google Translate to leverage English LLMs, while acknowledging that this translation reduces direct engagement with code mixing features. Our focus is on classification performance using English translated low resource inputs. We fine tuned several transformers and large language models, including Meta LLaMA 3 8B, Mistral 7B v0.1, LLaMA 2 7B, ModernBERT, and RoBERTa, with QLoRA for memory efficient adaptation. Models were trained and evaluated on a manually annotated Roman Urdu dataset for offensive vs non offensive content. Of all tested models, the highest F1 score of 91.45 was attained by Meta LLaMA 3 8B, followed by Mistral 7B at 89.66, surpassing traditional transformer baselines. These results demonstrate the efficacy of QLoRA in fine tuning high performing models for low resource environments such as code mixed offensive language detection, and confirm the potential of LLMs for this task. This work advances a scalable approach to Roman Urdu moderation and paves the way for future multilingual offensive detection systems based on LLMs.

academic

QLoRA를 이용한 로만 우르두-영어 코드혼합 텍스트의 공격적 언어 감지를 위한 대규모 언어 모델 미세조정

기본 정보

논문 ID: 2510.03683
제목: Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text
저자: Nisar Hussain, Amna Qasim, Gull Mehak, Muhammad Usman, Muhammad Zain, Momina Hafeez, Grigori Sidorov
기관: Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC), Mexico
분류: cs.CL (계산 언어학)
논문 링크: https://arxiv.org/abs/2510.03683

초록

본 연구는 로만 우르두-영어 코드혼합 텍스트의 공격적 언어 감지 문제를 해결하기 위해 QLoRA 기반의 대규모 언어 모델 미세조정 프레임워크를 제안합니다. 로만 우르두 언어의 문법 불규칙성, 철자 불일치, 주석 데이터 부족 등의 과제로 인해, 연구자들은 Google 번역을 사용하여 코드혼합 텍스트를 영어로 변환하여 영어 대규모 언어 모델의 능력을 충분히 활용했습니다. 실험은 Meta-LLaMA-3-8B, Mistral-7B-v0.1, LLaMA 2-7B, ModernBERT 및 RoBERTa를 포함한 여러 모델에서 수행되었습니다. 결과는 Meta-LLaMA-3-8B가 91.45%의 최고 F1 점수를 달성했으며, Mistral-7B는 89.66%에 도달하여 기존 Transformer 기준 모델을 모두 초과했음을 보여줍니다.

연구 배경 및 동기

문제 정의

본 연구가 해결하는 핵심 문제는 로만 우르두-영어 코드혼합 텍스트의 공격적 언어 감지입니다. 로만 우르두는 파키스탄과 인도 일부 지역의 주요 디지털 통신 형식으로, 사용자들이 라틴 문자로 우르두어를 작성하고 영어 단어를 자주 혼합합니다.

문제의 중요성

소셜 미디어 안전 필요성: Twitter, Facebook, YouTube 등 플랫폼의 확산으로 공격적이고 해로운 콘텐츠의 전파가 심각해지고 있으며, 이러한 콘텐츠를 식별하고 감소시키는 것은 디지털 건강 유지와 사용자 심리적 피해 방지에 필수적입니다.
코드혼합 언어의 특수한 과제: 로만 우르두-영어 코드혼합 텍스트는 비표준 문법, 철자 불일치, 주석 데이터 세트 부족 등의 특징을 가지고 있으며, 이러한 특성들은 기존 NLP 모델의 정확도를 현저히 감소시킵니다.

기존 방법의 한계

기존 기계학습 방법: 초기에 SVM, 나이브 베이즈, 로지스틱 회귀 등의 방법을 TF-IDF 또는 n-gram 특징과 결합하여 사용했지만, 다양한 문맥과 언어 간 일반화 능력이 부족하며, 특히 비공식적이고 노이즈가 많거나 코드혼합 데이터에서 성능이 저조합니다.
심층학습 모델: CNN과 RNN은 문맥 정보 포착 측면에서 기존 방법보다 우수하지만, 형태가 풍부한 저자원 언어인 로만 우르두의 경우 여전히 과제를 안고 있습니다.
사전학습 모델 부족: 로만 우르두는 전문화된 사전학습 모델이나 대규모 주석 말뭉치가 부족하여 기존 방법의 적용을 제한합니다.

핵심 기여

로만 우르두-영어 공격적 언어 감지 엔드-투-엔드 파이프라인 제안: 데이터 전처리에서 모델 평가까지의 완전한 처리 흐름을 구축했습니다.
LLaMA 및 Mistral 모델에 QLoRA 적용: 양자화 저차원 적응 기술을 로만 우르두 공격적 언어 감지 작업에 처음 적용했습니다.
포괄적인 비교 평가 수행: QLoRA 미세조정 대규모 언어 모델과 기존 미세조정 ModernBERT 및 RoBERTa 모델의 성능을 비교했습니다.
번역 기반 전처리 전략 채택: 번역 방법을 통해 영어 대규모 언어 모델을 활용하여 저자원 코드혼합 텍스트를 처리했습니다.

방법론 상세 설명

작업 정의

입력: 로만 우르두-영어 코드혼합 텍스트 출력: 이진 분류 레이블 (공격적/비공격적) 제약: 저자원, 비표준 문법, 코드혼합 특성 처리

모델 아키텍처

전체 처리 흐름

연구는 체계적인 처리 파이프라인을 채택했습니다:

데이터 수집 및 전처리
- 데이터 세트는 46,026개 샘플 포함 (24,026개 "공격적", 22,000개 "비공격적")
- 주로 Facebook 공개 댓글 및 YouTube 답글에서 수집
- 세 명의 이중언어 주석자가 수동으로 주석, Cohen's Kappa 일치도 0.86
번역 처리
- deep_translator 패키지의 GoogleTranslator 라이브러리 사용
- 로만 우르두 텍스트를 영어로 번역하여 영어 LLM 활용
- 번역 단계까지 원본 코드혼합 특성 유지
데이터 세트 분할 및 주석
- 레이블 매핑: "공격적"→1, "비공격적"→0
- 계층화 샘플링을 사용하여 80% 훈련, 20% 테스트 분할
- 디코더 모델의 경우 입력을 프롬프트 스타일로 형식화

모델 선택

성능 평가를 위해 다양한 모델을 선택했습니다:

대규모 언어 모델: LLaMA 3 (8B), LLaMA 2 (7B), Mistral (7B), QLoRA 미세조정 사용
기존 Transformer: RoBERTa 및 ModernBERT, 기존 감독학습 방법으로 미세조정

QLoRA 미세조정 기술

핵심 매개변수 설정:

rank (r=8)
alpha (32)
dropout (0.05)
적응 계층: q_proj 및 v_proj

기술 장점:

저차원 어댑터 및 양자화 가중치를 통해 메모리 효율적인 미세조정 구현
성능 유지하면서 GPU 메모리 사용량 대폭 감소

기술 혁신점

양자화 저차원 적응의 적용: QLoRA 기술을 로만 우르두 공격적 언어 감지에 처음 적용하여 대규모 모델의 효율적인 미세조정을 구현했습니다.
번역 보조 교차언어 전이: 번역 전략을 통해 언어 간 격차를 해소하고 모델의 기저 의미 이해도를 향상시켰습니다.
다중 모델 비교 프레임워크: LLM과 기존 Transformer 모델의 체계적인 비교 평가 프레임워크를 구축했습니다.

실험 설정

데이터 세트

규모: 46,026개 샘플
출처: Facebook 댓글 및 YouTube 답글
주석: 세 명의 이중언어 주석자, Cohen's Kappa = 0.86
분할: 80% 훈련, 20% 테스트 (계층화 샘플링)
전처리: 문맥 완전성 유지를 위한 최소 정제

평가 지표

정확도 (Accuracy)
정밀도 (Precision)
재현율 (Recall)
F1 점수 (F1 Score)

비교 방법

LLaMA 3 (8B) + QLoRA
Mistral 7B + QLoRA
LLaMA 2 (7B) + QLoRA
RoBERTa (기존 미세조정)
ModernBERT (기존 미세조정)

구현 세부사항

하드웨어: NVIDIA A100 (80GB VRAM), 128GB RAM, 32코어 CPU
소프트웨어 환경: Python 3.13.2, PyTorch, Transformers, PEFT 등
하이퍼파라미터: 학습률 2e-5, 배치 크기 2, 훈련 에포크 10, 가중치 감소 0.01
최적화 전략: 그래디언트 체크포인팅, 조기 중단 메커니즘

실험 결과

주요 결과

모델	정확도	정밀도	재현율	F1 점수
LLaMA 3 (8B)	91.62	91.4	91.5	91.45
Mistral 7B	89.88	89.5	89.8	89.66
LLaMA 2 (7B)	88.74	88.2	88.6	88.4
RoBERTa	85.65	85.2	85.7	85.44
ModernBERT	83.92	83.1	84.0	83.55

주요 발견:

LLaMA 3 (8B)이 최고 성능 달성, F1 점수 91.45%
QLoRA 기반 대규모 언어 모델이 기존 Transformer 모델을 현저히 초과
성능 차이는 코드혼합 언어 작업에서 QLoRA 미세조정의 우수성을 반영

훈련 행동 분석

수렴 속도: 최고 성능 모델이 2-3개 에포크 내에 최적 검증 F1 점수 달성
훈련 안정성: 모든 모델이 평활한 손실 감소를 보이며 과적합 징후 없음
메모리 효율성: QLoRA가 대규모 모델 미세조정의 메모리 요구사항을 현저히 감소

추론 효율성 비교

LLaMA 3 (8B): 약 1.0초/1000개 샘플
Mistral 7B: 약 0.80초/1000개 샘플
LLaMA 2 (7B): 약 0.78초/1000개 샘플
RoBERTa: 약 0.35초/1000개 샘플
ModernBERT: 약 0.30초/1000개 샘플

모델 규모와 추론 속도 간의 트레이드오프를 반영합니다.

모델 해석 가능성 분석

LIME 및 SHAP 분석을 통해 발견:

높은 영향력의 공격적 어휘: "saalon", "naacho", "maaregi" 등
모델 의사결정 패턴: LLaMA 3는 문맥적 공격적 언어에 집중, 기존 모델은 가중치 분배가 더 분산
편향 식별: 특정 중립 단어가 분류를 오도할 수 있으며, 데이터 품질의 중요성을 강조

결론 및 논의

주요 결론

QLoRA 미세조정의 유효성: 로만 우르두-영어 코드혼합 텍스트 공격적 언어 감지 작업에서 QLoRA 미세조정 대규모 언어 모델이 기존 방법을 현저히 초과
번역 전략의 실행 가능성: 번역 전처리를 통해 영어 LLM을 효과적으로 활용하여 저자원 코드혼합 언어 처리 가능
모델 규모의 중요성: 더 큰 모델 매개변수 규모가 복잡한 NLP 작업에서 명확한 우수성 표현

한계

코드혼합 특성 손실: 번역 과정에서 원본 코드 전환 구조 손실, 모델이 실제로 처리하는 것은 영어 번역 버전이 아닌 원생 코드혼합 텍스트
계산 자원 요구사항: 대규모 언어 모델의 추론 지연이 높아 실시간 응용을 제한할 수 있음
데이터 세트 규모: 상대적으로 작은 데이터 세트가 모델 일반화 능력에 영향을 미칠 수 있음
번역 품질 의존성: 방법의 유효성이 Google 번역 품질에 높이 의존

향후 방향

코드혼합 텍스트 직접 처리: 번역 없이 로만 우르두를 직접 처리할 수 있는 LLM 개발
영샷 및 소샷 학습: 주석 데이터에 대한 의존성 감소
교차언어 전이 최적화: 코드혼합 특성을 더 잘 유지하기 위한 교차언어 전이 방법 개선
실시간 최적화: 실제 배포 필요에 맞춘 추론 속도 최적화

심층 평가

장점

방법 혁신성: QLoRA 기술을 로만 우르두 공격적 언어 감지에 처음 적용하여 새로운 해결 방안 제공
실험 포괄성: 다양한 규모 및 아키텍처의 여러 모델을 비교하여 포괄적인 성능 기준 제공
실용적 가치: 소셜 미디어 콘텐츠 검토를 위한 실행 가능한 기술 솔루션 제공
기술 선진성: 최신 매개변수 효율적 미세조정 기술을 채택하여 자원 제한 환경에서 우수한 성능 달성

부족한 점

방법 한계: 번역 전처리 전략이 실용적이지만 코드혼합의 본질적 특성 손실
데이터 세트 제한: 상대적으로 작은 데이터 세트이며 특정 플랫폼에서만 출처하여 일반화에 영향을 미칠 수 있음
평가 차원 부족: 다양한 유형의 공격적 언어에 대한 세밀한 분석 부재
이론적 기여 제한: 주로 공학적 구현이며 이론적 혁신은 상대적으로 제한적

영향력

학술적 기여: 저자원 코드혼합 언어의 공격적 콘텐츠 감지를 위한 효과적인 방법 제공
실제 응용: 로만 우르두 소셜 미디어 콘텐츠 검토에 직접 적용 가능
기술 보급: 특정 분야 작업에서 QLoRA의 응용 잠재력 시연
연구 영감: 다른 저자원 언어의 유사 작업을 위한 참고 프레임워크 제공

적용 시나리오

소셜 미디어 플랫폼: Facebook, Twitter 등 플랫폼의 로만 우르두 콘텐츠 검토
온라인 커뮤니티 관리: 파키스탄 및 인도 지역의 온라인 포럼 및 커뮤니티
교육 응용: 온라인 괴롭힘 감지 및 예방 시스템
연구 기초: 다중언어 공격적 언어 감지 시스템 개발의 기초

참고문헌

논문은 공격적 언어 감지, 대규모 언어 모델, 코드혼합 언어 처리 등 여러 분야의 중요한 작업을 포함한 46개의 관련 문헌을 인용하여 연구에 견고한 이론적 기초 및 기술 지원을 제공합니다.

종합 평가: 본 논문은 기술 구현 측면에서 상당히 성숙하며, 실험 설계가 합리적이고 결과가 설득력 있습니다. 이론적 혁신 측면에서는 상대적으로 제한적이지만, 저자원 코드혼합 언어의 실제 응용을 위한 가치 있는 솔루션을 제공하며 우수한 실용적 가치와 보급 의의를 가집니다.