Efficient & Correct Predictive Equivalence for Decision Trees
Marques-Silva, Ignatiev
The Rashomon set of decision trees (DTs) finds importance uses. Recent work showed that DTs computing the same classification function, i.e. predictive equivalent DTs, can represent a significant fraction of the Rashomon set. Such redundancy is undesirable. For example, feature importance based on the Rashomon set becomes inaccurate due the existence of predictive equivalent DTs, i.e. DTs with the same prediction for every possible input. In recent work, McTavish et al. proposed solutions for several computational problems related with DTs, including that of deciding predictive equivalent DTs. The approach of McTavish et al. consists of applying the well-known method of Quine-McCluskey (QM) for obtaining minimum-size DNF (disjunctive normal form) representations of DTs, which are then used for comparing DTs for predictive equivalence. Furthermore, the minimum-size DNF representation was also applied to computing explanations for the predictions made by DTs, and to finding predictions in the presence of missing data. However, the problem of formula minimization is hard for the second level of the polynomial hierarchy, and the QM method may exhibit worst-case exponential running time and space. This paper first demonstrates that there exist decision trees that trigger the worst-case exponential running time and space of the QM method. Second, the paper shows that the QM method may incorrectly decide predictive equivalence, if two key constraints are not respected, and one may be difficult to formally guarantee. Third, the paper shows that any of the problems to which the smallest DNF representation has been applied to can be solved in polynomial time, in the size of the DT. The experiments confirm that, for DTs for which the worst-case of the QM method is triggered, the algorithms proposed in this paper are orders of magnitude faster than the ones proposed by McTavish et al.
academic
निर्णय वृक्षों के लिए कुशल और सही भविष्यसूचक समतुल्यता
निर्णय वृक्षों के Rashomon समुच्चय का महत्वपूर्ण अनुप्रयोग मूल्य है। हाल के अनुसंधान से पता चलता है कि समान वर्गीकरण फलन की गणना करने वाले निर्णय वृक्ष (अर्थात् भविष्यसूचक समतुल्य निर्णय वृक्ष) Rashomon समुच्चय का एक बड़ा हिस्सा हो सकते हैं। यह अनावश्यकता अवांछनीय है, उदाहरण के लिए Rashomon समुच्चय पर आधारित विशेषता महत्व भविष्यसूचक समतुल्य निर्णय वृक्षों की उपस्थिति के कारण अनुपयुक्त हो जाता है। McTavish आदि ने हाल ही में निर्णय वृक्षों से संबंधित गणनात्मक समस्याओं को हल करने के लिए एक समाधान प्रस्तावित किया है, जिसमें भविष्यसूचक समतुल्य निर्णय वृक्षों का निर्धारण भी शामिल है। उनकी विधि प्रसिद्ध Quine-McCluskey (QM) विधि का उपयोग करके निर्णय वृक्ष का न्यूनतम DNF प्रतिनिधित्व प्राप्त करती है, जिसका उपयोग निर्णय वृक्षों की भविष्यसूचक समतुल्यता की तुलना के लिए किया जाता है। हालांकि, सूत्र न्यूनीकरण समस्या बहुपद पदानुक्रम के दूसरे स्तर के लिए कठिन है, और QM विधि सबसे खराब स्थिति में घातीय रनटाइम और स्पेस जटिलता प्रदर्शित कर सकती है। यह पेपर पहले साबित करता है कि ऐसे निर्णय वृक्ष मौजूद हैं जो QM विधि की सबसे खराब स्थिति की घातीय जटिलता को ट्रिगर करते हैं, दूसरा दिखाता है कि यदि दो महत्वपूर्ण बाधाओं को पूरा नहीं किया जाता है तो QM विधि भविष्यसूचक समतुल्यता का गलत निर्धारण कर सकती है, और अंत में साबित करता है कि न्यूनतम DNF प्रतिनिधित्व का उपयोग करने वाली सभी समस्याओं को निर्णय वृक्ष आकार के बहुपद समय में हल किया जा सकता है।
यह पेपर निर्णय वृक्षों की भविष्यसूचक समतुल्यता निर्धारण की दक्षता और सही समस्या को हल करता है। भविष्यसूचक समतुल्य निर्णय वृक्ष वे हैं जो किसी भी इनपुट के लिए समान भविष्यसूचक परिणाम देते हैं।
Rashomon समुच्चय अनुकूलन: मशीन लर्निंग में, Rashomon समुच्चय में कई समान प्रदर्शन वाले मॉडल होते हैं। भविष्यसूचक समतुल्य निर्णय वृक्ष इस समुच्चय में अनावश्यकता का कारण बनते हैं, जो विशेषता महत्व मूल्यांकन की सटीकता को प्रभावित करता है।
व्याख्यात्मकता आवश्यकता: निर्णय वृक्षों को व्यापक रूप से व्याख्यात्मक मॉडल माना जाता है, लेकिन यहां तक कि इष्टतम निर्णय वृक्षों को भी औपचारिक व्याख्या की आवश्यकता होती है, विशेष रूप से उच्च जोखिम वाले अनुप्रयोग परिदृश्यों में।
गणनात्मक दक्षता: मौजूदा विधियां बड़े पैमाने पर निर्णय वृक्षों को संभालते समय गंभीर गणनात्मक बाधाओं का सामना करती हैं।
पेपर WAXp पर आधारित बहुपद समय एल्गोरिथ्म प्रस्तावित करता है:
एल्गोरिथ्म 1: पथ सामंजस्य जांच
def ConsistentPath(A, P, T):
# आंशिक असाइनमेंट A और वृक्ष पथ P की सामंजस्य जांच करें
for each feature i:
combine literals from A and P for feature i
if inconsistent: return False
return True
एल्गोरिथ्म 2: WAXp निर्धारण
def IsWAXp(A, c, T):
# जांचें कि क्या आंशिक असाइनमेंट A वर्ग c के लिए WAXp है
for each path P in T:
if Class(P) != c and ConsistentPath(A, P, T):
return False # A अन्य वर्ग पथ के साथ सामंजस्यपूर्ण है
return True
def PredictivelyEquivalent(T1, T2):
for P1 in Paths(T1):
c1 = Class(P1)
A1 = Literals(P1) # आंशिक असाइनमेंट बनाएं
for P2 in Paths(T2):
c2 = Class(P2)
if c1 != c2 and ConsistentPath(A1, P2, T2):
return False # असमानता का प्रमाण मिला
return True # असमानता साबित नहीं की जा सकी, इसलिए समतुल्य
घातीय वृद्धि की पुष्टि: BCF₁(T) का आकार r के साथ घातीय रूप से बढ़ता है, जो सैद्धांतिक विश्लेषण को सत्यापित करता है
विशाल प्रदर्शन अंतर: r=200 के मामले में, नया एल्गोरिथ्म 1203 नोड्स वाले निर्णय वृक्ष को केवल कुछ सेकंड में संभालता है, जबकि QM विधि 57 नोड्स पर टाइमआउट हो जाती है
व्यावहारिक सत्यापन: नया एल्गोरिथ्म वास्तविक अनुप्रयोगों में हो सकने वाले बड़े पैमाने पर निर्णय वृक्षों को संभाल सकता है
निर्णय वृक्ष अनुकूलन: Bertsimas & Dunn (2017), Hu et al. (2019), Demirovic et al. (2022)
समग्र मूल्यांकन: यह सिद्धांत और व्यावहार के संयोजन वाला एक उच्च गुणवत्ता वाला पेपर है, जो न केवल मौजूदा विधि की मौलिक खामियों को उजागर करता है बल्कि व्यावहारिक समाधान भी प्रदान करता है। पेपर का सैद्धांतिक विश्लेषण कठोर है, प्रायोगिक सत्यापन पर्याप्त है, और निर्णय वृक्ष और व्याख्यात्मक AI क्षेत्र में महत्वपूर्ण योगदान देता है।