برگزاری کارگاه، توزیع بسته‌های حمایتی و انتشار مطالب آموزشی، نشان می‌دهد یک تشکل چه کارهایی انجام داده است. برای شناخت نتیجه این تلاش‌ها، باید پرسید چه تغییری برای مخاطبان ایجاد شده، این تغییر چقدر دوام داشته و چه شواهدی درباره سهم تشکل در آن وجود دارد.
در گزارش سالانه یک انجمن نوشته شده است: «شش کارگاه برگزار کردیم، دویست نفر در برنامه‌ها حضور داشتند و ده محتوای آموزشی منتشر شد.» این اطلاعات برای شناخت حجم فعالیت‌ها ضروری‌اند؛ اما هنوز نمی‌دانیم شرکت‌کنندگان چه آموخته‌اند، آیا توانسته‌اند از آموخته‌های خود استفاده کنند و برنامه تا چه اندازه به مسئله‌ای که برای آن طراحی شده بود پاسخ داده است.
این پرسش‌ها به‌ویژه برای تشکل‌های کوچک اهمیت دارند؛ مجموعه‌هایی که باید درباره مصرف وقت داوطلبان، بودجه محدود و ادامه یا تغییر برنامه‌ها تصمیم بگیرند. سنجش نتیجه می‌تواند کمک کند بفهمیم کدام بخش فعالیت ارزش ادامه‌دادن دارد، چه چیزی باید اصلاح شود و کجا هنوز اطلاعات کافی نداریم.
میان انجام کار و ایجاد تغییر تفاوت بگذاریم
در ادبیات ارزیابی، «خروجی»، «پیامد» و «اثر» به سطوح متفاوتی از نتایج اشاره دارند. خروجی، محصول یا خدمت مستقیم فعالیت است؛ پیامد، تغییری است که در پی استفاده از آن ایجاد می‌شود؛ و اثر به تغییرات مهم‌تر و گسترده‌تر، از جمله پیامدهای خواسته یا ناخواسته، توجه دارد. این تمایز کمک می‌کند ادعای ما با چیزی که واقعاً سنجیده‌ایم تناسب داشته باشد.
برای روشن‌شدن موضوع، یک برنامه فرضی آموزش داوطلبان را در نظر بگیریم:
| سطح بررسی | نمونه در برنامه آموزش داوطلبان |
|---|---|
| فعالیت | برگزاری دوره آموزش ارتباط با مخاطبان |
| خروجی | تعداد جلسات برگزارشده و داوطلبان آموزش‌دیده |
| پیامد | توانایی بیشتر داوطلبان در شنیدن درخواست‌ها و ارجاع درست افراد |
| اثر مورد انتظار | بهبود کیفیت و دسترس‌پذیری خدمات حمایتی برای جامعه مخاطب |
برگزاری دوره را می‌توان با فهرست حضور و گزارش اجرا ثبت کرد. برای بررسی مهارت داوطلبان، به شواهد دیگری مانند تمرین عملی یا مشاهده عملکرد نیاز داریم. ادعای بهبود خدمات نیز مستلزم بررسی تجربه دریافت‌کنندگان خدمات و عوامل دیگری است که بر کیفیت آن تأثیر می‌گذارند.
به همین ترتیب، بازدید یک مطلب آموزشی، میزان دیده‌شدن آن را نشان می‌دهد؛ برای فهمیدن اینکه مطلب به افزایش آگاهی یا تغییر رفتار کمک کرده، باید بررسی جداگانه‌ای انجام شود.
انتظارمان را با مأموریت و ظرفیت تشکل متناسب کنیم
از یک انجمن محلی با چند داوطلب نمی‌توان انتظار داشت سهم خود را در کاهش فقر یک شهر به‌دقت اندازه‌گیری کند. ممکن است این انجمن بتواند با شواهد قابل اتکا نشان دهد تعدادی از خانواده‌ها به خدمات موردنیازشان دسترسی پیدا کرده‌اند یا یک مانع مشخص در مسیر دریافت حمایت برطرف شده است.
ابراهیم و رانگان در مقاله «چه اثری؟» تأکید می‌کنند سطح سنجش عملکرد باید با مأموریت، مقیاس و دامنه فعالیت سازمان تناسب داشته باشد. از نگاه آنان، سنجش اثر بلندمدت برای همه سازمان‌ها انتخاب مناسبی نیست و برخی مجموعه‌ها بهتر است بر خروجی‌ها یا پیامدهای نزدیک‌تر به فعالیت خود تمرکز کنند.
برای یک تشکل کوچک، کاربرد این نگاه آن است که پرسشی محدود و پاسخ‌دادنی انتخاب کند: «آیا معرفی و همراهی ما باعث شد افراد بتوانند درخواست حمایت خود را ثبت و پیگیری کنند؟» چنین پرسشی امکان یادگیری بیشتری از ادعای کلی «توانمندسازی جامعه» فراهم می‌کند.
پیش از اجرا، تغییر مورد انتظار را روشن کنیم
پیشنهاد عملی برای شروع، نوشتن چند جمله ساده پیش از اجرای برنامه است: مسئله چیست، مخاطبان چه کسانی‌اند، چه تغییری می‌خواهیم و انتظار داریم فعالیت ما چگونه به آن کمک کند؟
برای مثال، یک انجمن ممکن است بخواهد دسترسی افراد دارای معلولیت را به نشست‌های خود بهتر کند. در این صورت، باید مشخص کند چه موانعی وجود دارد: محل نامناسب، اطلاع‌رسانی دسترس‌ناپذیر، هزینه رفت‌وآمد یا شیوه برگزاری جلسه؟
اگر مسئله اصلی رفت‌وآمد باشد، تغییر قالب پوستر به‌تنهایی پاسخ کافی نخواهد بود. همین بررسی اولیه کمک می‌کند فعالیت انتخاب‌شده با مسئله تناسب داشته باشد.
بهتر است تعریف موفقیت نیز با مشارکت مخاطبان شکل بگیرد. ممکن است برگزارکنندگان، افزایش تعداد حاضران را موفقیت بدانند، اما برای مخاطبان، امکان مشارکت مستقل و بیان نظر اهمیت بیشتری داشته باشد. INTRAC در اصول پایش و ارزیابی خود بر مشارکت افرادی تأکید دارد که اطلاعات را ارائه می‌کنند و از نتایج ارزیابی تأثیر می‌پذیرند.
چند نشانه روشن برای سنجش انتخاب کنیم
برای هر برنامه، می‌توان تعداد محدودی شاخص انتخاب کرد که مستقیماً به تغییر مورد انتظار مربوط باشند. پیشنهادهای زیر نمونه‌های اجرایی‌اند و باید با شرایط هر تشکل تنظیم شوند:
-
در یک دوره آموزشی، توانایی انجام یک کار مشخص را بررسی کنیم؛ برای نمونه، تشخیص مسیر درست ارجاع در یک موقعیت فرضی.
-
در برنامه حمایت از دسترسی به خدمات، ثبت کنیم چند نفر توانسته‌اند فرایند موردنظر را کامل کنند و چه موانعی باقی مانده است.
-
در فعالیت مطالبه‌گری، علاوه بر تعداد نامه‌ها و جلسات، پاسخ‌های دریافت‌شده، تعهدهای مشخص و تغییرات قابل مشاهده در رویه‌ها را پیگیری کنیم.
-
در برنامه جذب داوطلب، تداوم همکاری، تناسب مسئولیت‌ها با توان افراد و دلایل کناره‌گیری را هم بررسی کنیم.
برای هر شاخص، روشن کنیم اطلاعات از کجا می‌آید، چه زمانی جمع‌آوری می‌شود و چه کسی مسئول ثبت آن است. عبارت «رضایت مخاطبان افزایش یافت» بدون توضیح روش بررسی، مبنای روشنی برای تصمیم‌گیری فراهم نمی‌کند.
وضعیت آغاز را بشناسیم و بعد پیگیری کنیم
برای بررسی تغییر، داشتن تصویری از نقطه شروع کمک‌کننده است. در یک برنامه کوچک، این تصویر ممکن است با چند پرسش کوتاه، یک تمرین عملی یا ثبت وضعیت اولیه دسترسی به خدمات فراهم شود.
ابزار باید با هدف هماهنگ باشد. اگر هدف یادگیری مهارت است، پرسیدن «از کلاس راضی بودید؟» کافی نیست. رضایت از تجربه حضور ارزشمند است، اما درباره توانایی انجام کار، به سنجش دیگری نیاز داریم.
زمان بررسی هم اهمیت دارد. ارزیابی پایان جلسه می‌تواند تجربه فوری شرکت‌کنندگان را نشان دهد؛ پیگیری چند هفته بعد، فرصتی برای پرسیدن درباره کاربرد آموخته‌ها فراهم می‌کند.
اگر اطلاعات آغاز برنامه را نداریم، این محدودیت را صریح بنویسیم. همچنین بهتر است تغییر مشاهده‌شده در مقایسه قبل و بعد را به‌تنهایی اثبات اثر فعالیت خود تلقی نکنیم؛ در فاصله اجرای برنامه، عوامل دیگری هم ممکن است دخالت داشته باشند.
عددها را کنار تجربه افراد بخوانیم
فرض کنیم از سی شرکت‌کننده یک دوره، هجده نفر به پرسش‌های پیگیری پاسخ داده‌اند و دوازده نفر گفته‌اند از آموخته‌ها استفاده کرده‌اند. گزارش دقیق باید تعداد پاسخ‌دهندگان را هم ذکر کند. درباره دوازده نفری که پاسخ نداده‌اند، هنوز اطلاعاتی نداریم.
در کنار این عددها، گفت‌وگو می‌تواند توضیح دهد استفاده از آموخته‌ها چگونه اتفاق افتاده یا چرا ممکن نشده است. شاید محتوا مفید بوده، اما فرد فرصت، ابزار یا اختیار لازم برای اجرای آن را نداشته است.
برای این بررسی، بهتر است فقط سراغ افراد راضی و همراه نرویم. تجربه کسانی که برنامه را نیمه‌کاره رها کرده‌اند یا نتوانسته‌اند از خدمات استفاده کنند، می‌تواند به اصلاح طراحی کمک کند. یک روایت موفق نیز بهتر است به‌عنوان تجربه همان فرد ارائه شود؛ تعمیم آن به همه مخاطبان، شواهد بیشتری می‌خواهد.
سهم تشکل را در کنار عوامل دیگر بررسی کنیم
تغییر اجتماعی معمولاً حاصل کار یک مجموعه نیست. ممکن است فرد هم‌زمان از حمایت خانواده، خدمات عمومی و چند تشکل استفاده کرده باشد. در مطالبه‌گری نیز تغییر یک رویه می‌تواند حاصل پیگیری گروه‌های مختلف و تصمیم‌های نهادی باشد.
جان مین در رویکرد «تحلیل سهم» به بررسی نقش یک مداخله در نتایج مشاهده‌شده، در کنار سایر عوامل، می‌پردازد. این رویکرد بر توضیح مسیر تغییر و گردآوری شواهد برای بررسی آن تکیه دارد.
کاربرد عملی این نگاه آن است که بپرسیم: چه شواهدی داریم که فعالیت ما به تغییر کمک کرده است؟ چه کسانی این نقش را تأیید می‌کنند؟ چه توضیح‌های دیگری وجود دارد؟
در گزارش می‌توان نوشت: «پیگیری انجمن، در کنار همکاری مرکز خدمات و همراهی خانواده‌ها، به تکمیل فرایند دریافت حمایت کمک کرد.» اگر اندازه سهم هر عامل مشخص نیست، همان را روشن کنیم.
ببینیم چه کسانی از برنامه جا مانده‌اند
در بررسی نتیجه، پیشنهاد می‌شود تجربه گروه‌های مختلف مخاطب جداگانه دیده شود. برای نمونه، ممکن است یک برنامه آنلاین برای برخی افراد دسترس‌پذیر باشد، اما کسانی را که اینترنت مناسب یا مهارت استفاده از ابزار ندارند کنار بگذارد. زمان برگزاری نشست نیز ممکن است مشارکت افراد شاغل یا دارای مسئولیت مراقبتی را دشوار کند.
از مخاطبان بپرسیم چه مانعی برای حضور یا استفاده از خدمات داشته‌اند. این پرسش می‌تواند بخشی از ارزیابی معمول برنامه باشد، بدون آنکه اطلاعات حساس و غیرضروری جمع‌آوری کنیم.
در جمع‌آوری بازخورد نیز روشن باشد پاسخ‌دادن اختیاری است و انتقاد، دریافت خدمات را به خطر نمی‌اندازد. اطلاعات شخصی فقط در حد نیاز ثبت شود و انتشار روایت یا تصویر، رضایت جداگانه و آگاهانه داشته باشد.
یافته‌ها را به تصمیم بعدی پیوند بدهیم
برای یک تشکل کوچک، یک گزارش کوتاه می‌تواند شامل هدف برنامه، فعالیت‌های انجام‌شده، تغییرات مشاهده‌شده، روش گردآوری اطلاعات و محدودیت‌های بررسی باشد. سپس مشخص شود بر اساس این یافته‌ها چه تصمیمی گرفته خواهد شد.
اگر شرکت‌کنندگان مطلب را آموخته‌اند اما نتوانسته‌اند از آن استفاده کنند، شاید به پشتیبانی پس از دوره نیاز باشد. اگر گروهی از مخاطبان امکان حضور نداشته‌اند، می‌توان زمان، مکان یا شیوه اجرا را تغییر داد. اگر شواهد هنوز کافی نیست، می‌توان برای پیگیری بعدی زمان مشخص کرد.
در جلسه بعدی انجمن، انتخاب یک برنامه و پاسخ‌دادن به سه پرسش، شروعی عملی است: انتظار چه تغییری داشتیم؟ اکنون چه شواهدی داریم؟ بر اساس این شواهد، در اجرای بعد چه چیزی را تغییر می‌دهیم؟
منابع
۱. Ebrahim, A., & Rangan, V. K. (2014). What Impact? A Framework for Measuring the Scale and Scope of Social Performance. California Management Review, 56(3), 118–141.
پیوند مقاله
۲. Mayne, J. (2012). Contribution Analysis: Coming of Age? Evaluation, 18(3), 270–280.
پیوند مقاله
۳. OECD. (2023). Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development, Second Edition.
پیوند واژه‌نامه
۴. INTRAC. Monitoring and Evaluation Manifesto.
اصول پایش و ارزیابی
