2025-11-12T11:16:10.224319

DeHate: A Stable Diffusion-based Multimodal Approach to Mitigate Hate Speech in Images

Dalal, Vashishtha, Rani et al.

The rise in harmful online content not only distorts public discourse but also poses significant challenges to maintaining a healthy digital environment. In response to this, we introduce a multimodal dataset uniquely crafted for identifying hate in digital content. Central to our methodology is the innovative application of watermarked, stability-enhanced, stable diffusion techniques combined with the Digital Attention Analysis Module (DAAM). This combination is instrumental in pinpointing the hateful elements within images, thereby generating detailed hate attention maps, which are used to blur these regions from the image, thereby removing the hateful sections of the image. We release this data set as a part of the dehate shared task. This paper also describes the details of the shared task. Furthermore, we present DeHater, a vision-language model designed for multimodal dehatification tasks. Our approach sets a new standard in AI-driven image hate detection given textual prompts, contributing to the development of more ethical AI applications in social media.

academic

DeHate: 画像内のヘイトスピーチを軽減するための安定拡散ベースのマルチモーダルアプローチ

基本情報

論文ID: 2509.21787
タイトル: DeHate: A Stable Diffusion-based Multimodal Approach to Mitigate Hate Speech in Images
著者: Dwip Dalal, Gautam Vashishtha, Anku Rani, Aishwarya Reganti, Parth Patwa, Mohd Sarique, Chandan Gupta, Keshav Nath, Viswanatha Reddy, Vinija Jain, Aman Chadha, Amitava Das, Amit Sheth, Asif Ekbal
分類: cs.CV cs.CL
発表会議: Defactify 3: Third Workshop on Multimodal Fact Checking and Hate Speech Detection, co-located with AAAI 2024
論文リンク: https://arxiv.org/abs/2509.21787

概要

オンライン上の有害コンテンツの増加は、公共の言論を歪めるだけでなく、健全なデジタル環境の維持に対する重大な課題を構成しています。本論文では、デジタルコンテンツ内のヘイトスピーチを識別するための専用マルチモーダルデータセットを導入しています。本手法の中核は、ウォーターマーク化された安定性強化型安定拡散技術と、デジタル注意力分析モジュール(DAAM)の革新的な応用にあります。この組み合わせにより、画像内のヘイト要素を正確に特定し、詳細なヘイト注意力マップを生成し、これらの領域をぼかして画像からヘイト部分を除去することができます。著者らはこのデータセットをdeHate共有タスクの一部として公開し、マルチモーダルヘイト除去タスク専用に設計されたビジュアル言語モデルであるDeHaterを提案しています。

研究背景と動機

問題定義

本研究が解決する中核的な問題は、マルチモーダル環境(特に画像+テキスト)におけるヘイトスピーチの検出と軽減です。AI応用の急速な発展に伴い、大規模言語モデル(LLMs)の訓練データに含まれるヘイトコンテンツは、モデルの実用性を損なうだけでなく、深刻な倫理的問題を引き起こしています。

重要性

デジタル環境の健全性: オンラインヘイトコンテンツの急増は公共言論の質に深刻な影響を与えています
AI倫理: 訓練データ内のヘイトコンテンツはAIシステムの信頼性と倫理的完全性に直接影響します
社会的責任: ソーシャルメディア内のヘイトスピーチに対処するための責任あるAIシステムの開発が必要です

既存手法の限界

高品質なマルチモーダルヘイトスピーチ検出データセットの不足
既存手法は主にテキストまたは画像の単一モダリティに焦点を当てており、効果的なマルチモーダル融合が不足しています
ヘイトコンテンツの特定と除去に対する標的化された技術の不足

研究動機

高品質データセットの必要性とマルチモーダルヘイトスピーチ検出の技術的課題に基づき、本論文は革新的なデータセットと方法フレームワークを構築し、責任あるAIの発展を推進することを目指しています。

中核的貢献

革新的なデータセット構築方法: Stable DiffusionとDAAMに基づくマルチモーダルヘイトスピーチデータセット生成方法を提案
マルチモーダルヘイト除去モデル: テキストプロンプトの指導下で画像ヘイトコンテンツの教師なしマスキングを実行できるDeHaterモデルを設計
共有タスクの組織: 2,411インスタンスを含むDeHateデータセットを公開し、関連する共有タスクを組織
技術手法の革新: CLIPエンコーダ、U-Netアーキテクチャ、FiLM変調技術を組み合わせた革新的なアーキテクチャ設計

方法の詳細

タスク定義

本論文で定義されるタスクはマルチモーダル画像ヘイト除去です。ヘイトコンテンツを含む画像と対応するテキストプロンプトが与えられた場合、モデルは画像内のヘイト領域を識別してマスキングし、ヘイト除去された画像バージョンを生成する必要があります。

データセット構築方法

基本データソース

Hatenormデータセット: 手動でアノテーションされたヘイトテキストとその正規化版の並列コーパスを使用
Stable Diffusion生成: stable-diffusion-2-baseモデルを利用してヘイトテキストを視覚的表現に変換

中核技術フロー

画像生成: ヘイトテキストから主要キーワードを抽出してプロンプトを構築し、Stable Diffusionを使用して対応する画像を生成
注意力マップ生成: DAAM技術を適用して、特定のピクセルとプロンプト成分の関連性を強調するヒートマップを生成
選択的ぼかし:
- グローバルヒートマップ値を計算し、閾値を確立してバイナリマスクを生成
- 高ヒートマップ値ピクセルを黒色(0,0,0)に設定
- マークされたピクセルについてローカル近傍の平均色を計算して適用

DeHaterモデルアーキテクチャ

全体的な設計理念

DeHaterは教師なし画像マスキングアプローチを採用し、テキストプロンプトを通じて画像内の有害領域の識別と遮蔽を指導します。

中核コンポーネント

CLIPエンコーダ:
- 凍結されたCLIPモデルをエンコーダとして使用
- 多様な画像テキストペアでの事前訓練の利点を活用
- 豊富なマルチモーダル特徴表現を抽出
U-Netにインスパイアされた接続:
- U-Netアーキテクチャのスキップ接続設計を採用
- CLIPエンコーダのローカル情報をデコーダに伝達
- デコーダのコンパクト性を維持しながら重要な詳細を保持
特徴統合メカニズム:
- エンコーダ活性化(CLSトークンを含む)をデコーダの各transformerブロックに統合
- コンテキスト理解を豊かにするデコーダ
FiLM変調:
- Feature-wise Linear Modulation技術を使用
- 条件ベクトルを通じてデコーダ入力活性化を変調
- デコーダがヘイトコンテンツに焦点を当て、正確に分割する能力を強化
学習可能な投影ネットワーク:
- 複数のヘイトフラグメント埋め込みを単一投影に結合
- 多様なヘイト要素の細致で効果的な圧縮を実現