StreetLens: Enabling Human-Centered AI Agents for Neighborhood Assessment from Street View Imagery
Kim, Jang, Chiang et al.
Traditionally, neighborhood studies have used interviews, surveys, and manual image annotation guided by detailed protocols to identify environmental characteristics, including physical disorder, decay, street safety, and sociocultural symbols, and to examine their impact on developmental and health outcomes. Although these methods yield rich insights, they are time-consuming and require intensive expert intervention. Recent technological advances, including vision language models (VLMs), have begun to automate parts of this process; however, existing efforts are often ad hoc and lack adaptability across research designs and geographic contexts. In this paper, we present StreetLens, a user-configurable human-centered workflow that integrates relevant social science expertise into a VLM for scalable neighborhood environmental assessments. StreetLens mimics the process of trained human coders by focusing the analysis on questions derived from established interview protocols, retrieving relevant street view imagery (SVI), and generating a wide spectrum of semantic annotations from objective features (e.g., the number of cars) to subjective perceptions (e.g., the sense of disorder in an image). By enabling researchers to define the VLM's role through domain-informed prompting, StreetLens places domain knowledge at the core of the analysis process. It also supports the integration of prior survey data to enhance robustness and expand the range of characteristics assessed in diverse settings. StreetLens represents a shift toward flexible and agentic AI systems that work closely with researchers to accelerate and scale neighborhood studies. StreetLens is publicly available at https://knowledge-computing.github.io/projects/streetlens.
academic
StreetLens: পাড়া মূল্যায়নের জন্য মানব-কেন্দ্রিক AI এজেন্ট সক্ষম করা স্ট্রিট ভিউ চিত্রাবলী থেকে
ঐতিহ্যবাহী পাড়া গবেষণা সাক্ষাৎকার, সমীক্ষা এবং বিস্তারিত প্রোটোকল-ভিত্তিক মানব চিত্র টীকাকরণের উপর নির্ভর করে পরিবেশগত বৈশিষ্ট্য চিহ্নিত করতে, যার মধ্যে রয়েছে শারীরিক বিশৃঙ্খলা, অবক্ষয়, রাস্তার নিরাপত্তা এবং সামাজিক-সাংস্কৃতিক প্রতীক, এবং উন্নয়ন এবং স্বাস্থ্য ফলাফলের উপর তাদের প্রভাব অধ্যয়ন করতে। যদিও এই পদ্ধতিগুলি সমৃদ্ধ অন্তর্দৃষ্টি প্রদান করে, তবে সেগুলি সময়সাপেক্ষ এবং নিবিড় বিশেষজ্ঞ হস্তক্ষেপের প্রয়োজন। এই পত্রটি StreetLens প্রস্তাব করে, একটি ব্যবহারকারী-কনফিগারযোগ্য মানব-কেন্দ্রিক কর্মপ্রবাহ যা প্রাসঙ্গিক সামাজিক বিজ্ঞান দক্ষতাকে ভিজ্যুয়াল ভাষা মডেল (VLM) এ একীভূত করে স্কেলেবল পাড়া পরিবেশ মূল্যায়নের জন্য।
ঐতিহ্যবাহী পদ্ধতি: মূল্যবান অন্তর্দৃষ্টি প্রদান করলেও, প্রক্রিয়াটি জটিল, বিশেষজ্ঞ-নির্ভর এবং স্কেল করা কঠিন
বিদ্যমান VLM প্রয়োগ: বেশিরভাগ অস্থায়ী প্রয়োগ, কাঠামোগত কাঠামোর অভাব, VLM-কে মানব কোডারদের মতো কাজ করার জন্য সিস্টেমেটিকভাবে "প্রশিক্ষণ" দিতে পারে না
প্রতিক্রিয়া প্রক্রিয়ার অভাব: বিদ্যমান পদ্ধতি সাধারণত VLM ফলাফল সরাসরি গ্রহণ করে, গবেষক প্রতিক্রিয়া প্রদান করে না
ভূমিকা প্রজন্ম: প্রাসঙ্গিক পত্র সারাংশের উপর ভিত্তি করে VLM পেশাদার ভূমিকা বর্ণনা তৈরি করা
প্রম্পট টেমপ্লেট:
"আপনি নিম্নলিখিত ক্ষেত্রগুলিতে একজন বিশেষজ্ঞ এবং এখানে প্রদত্ত পত্র সারাংশের লেখক: [পত্র সারাংশ]। প্রদর্শিত দক্ষতার উপর ভিত্তি করে, নিজের একটি সাধারণ পেশাদার ভূমিকা বর্ণনা তৈরি করুন এক থেকে দুই বাক্যে, 'আপনি' দিয়ে শুরু করে দ্বিতীয় ব্যক্তিতে লেখা।"
কাজের শ্রেণীবিভাগ: বিষয়গত উপলব্ধি কাজ বনাম উদ্দেশ্যমূলক সনাক্তকরণ কাজ পার্থক্য করা
শ্রেণীবিভাগ প্রম্পট:
"আপনি টীকা কাজের একজন শ্রেণীবিভাগকারী... যদি এটি সামগ্রিক অবস্থা বা গুণমান রেট/মূল্যায়ন করতে বলে, তবে উপলব্ধি হিসাবে লেবেল করুন। যদি এটি নির্দিষ্ট বস্তু সনাক্ত, গণনা বা যাচাই করতে বলে, তবে object_detection হিসাবে লেবেল করুন।"
কোডিং ম্যানুয়াল প্রসেসিং: প্রশ্ন-উত্তর জোড়কে কাঠামোগত প্রম্পটে রূপান্তরিত করা
পত্রটি স্পষ্টভাবে মেশিন লার্নিং মডেলে সম্ভাব্য সামাজিক পক্ষপাত সমস্যা স্বীকার করে, বিশেষত বৈচিত্র্যময় পাড়ার সামাজিক-সাংস্কৃতিক প্রেক্ষাপট ব্যাখ্যা করার সময়। লেখকরা ভবিষ্যত কাজে সম্ভাব্য পক্ষপাত উৎস মূল্যায়ন করার এবং ডোমেইন বিশেষজ্ঞদের সাথে সহযোগিতা করে অংশগ্রহণমূলক ডিজাইন পদ্ধতি প্রয়োগ করার পরিকল্পনা করছেন, StreetLens-কে একটি দায়িত্বশীল মানব-কেন্দ্রিক সরঞ্জাম হিসাবে নিশ্চিত করতে।
পত্রটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
পাড়া পরিবেশ মূল্যায়নের ক্লাসিক গবেষণা (Sampson & Raudenbush, 1999)
ভার্চুয়াল অডিট পদ্ধতির উন্নয়ন (Odgers et al., 2012; Clarke et al., 2010)
শহুরে বিশ্লেষণে VLM প্রয়োগ (Biljecki & Ito, 2021)
প্রম্পট ইঞ্জিনিয়ারিং প্রযুক্তি (Schulhoff et al., 2025)
সংক্ষিপ্তসার: StreetLens AI এবং সামাজিক বিজ্ঞান গবেষণা পদ্ধতির সংমিশ্রণে একটি গুরুত্বপূর্ণ অগ্রগতি প্রতিনিধিত্ব করে, সিস্টেমেটিক কর্মপ্রবাহ ডিজাইনের মাধ্যমে পাড়া পরিবেশ মূল্যায়নের স্বয়ংক্রিয়করণ এবং স্কেলেবিলিটি অর্জন করে। যদিও মূল্যায়ন যাচাইকরণ এবং পক্ষপাত পরিচালনায় আরও পরিমার্জনের প্রয়োজন, তবে এর উদ্ভাবনী মানব-মেশিন সহযোগিতা ধারণা এবং ব্যবহারিক প্রযুক্তিগত সমাধান সম্পর্কিত ক্ষেত্র গবেষণার জন্য মূল্যবান সরঞ্জাম এবং পদ্ধতিগত রেফারেন্স প্রদান করে।