برای بررسی صحت خروجی هوش مصنوعی، ادعاهای مهم پاسخ را جدا کنید، منبع اصلی را بخوانید و محاسبات را مستقل انجام دهید. وجود لینک، لحن مطمئن یا تأیید دوبارهٔ همان مدل، به‌تنهایی درستی پاسخ را ثابت نمی‌کند. پیش از ارسال گزارش به مدیر، پاسخ به مشتری یا انتشار محتوا، باید روشن باشد کدام بخش تأیید شده و کدام بخش هنوز شاهد کافی ندارد.
فرض کنید هوش مصنوعی از روی آمار فروش، گزارشی روان و مرتب نوشته است. ممکن است درصد رشد را درست حساب کند، اما از همان عدد نتیجه‌ای بگیرد که داده‌ها پشتیبانی نمی‌کنند. در این راهنما، یک گزارش فرضی را بررسی می‌کنیم و به روشی می‌رسیم که برای کارهای روزمرهٔ تیم هم قابل استفاده است.
چرا پاسخ دقیق‌نما ممکن است اشتباه باشد؟
مدل زبانی می‌تواند جمله‌ای منسجم بسازد که بخشی از آن نادرست، بی‌منبع یا ناسازگار با سند ورودی باشد. این پدیده معمولاً «توهم هوش مصنوعی» نامیده می‌شود. گزارش NIST دربارهٔ ریسک‌های هوش مصنوعی مولد توضیح می‌دهد که این خطا حتی می‌تواند به شکل استدلال یا ارجاع ساختگی ظاهر شود؛ بنابراین توضیح مفصلِ مدل دربارهٔ جوابش هم مدرک مستقل محسوب نمی‌شود.
همهٔ خطاها نیز از جنس اطلاعات ساختگی نیستند. پاسخ ممکن است از یک سند قدیمی استفاده کند، واحد ریال و تومان را جابه‌جا بگیرد یا یک پیشنهاد را به شکل واقعیت قطعی بنویسد. پرسش اصلی این است: «چه شاهدی دارم که این جمله برای همین موقعیت درست است؟»
چهار مرحله برای راستی‌آزمایی پاسخ هوش مصنوعی
۱. ادعاها را از پیشنهادها جدا کنید
به‌جای قبول یا ردِ کل پاسخ، جمله‌های قابل بررسی را مشخص کنید. «فروش این ماه ۲۵ درصد بیشتر شده» یک ادعای عددی است. «مشتریان به‌دلیل ارسال سریع‌تر خرید کرده‌اند» ادعایی دربارهٔ علت است و به شاهد دیگری نیاز دارد. «بهتر است ارسال را سریع‌تر کنیم» پیشنهاد است؛ باید هزینه و اثرش را جداگانه سنجید.
ابتدا سراغ جمله‌هایی بروید که بر تصمیم، هزینه یا تعهد شما اثر دارند. در یک متن تبلیغاتی، وعدهٔ زمان تحویل مهم است؛ در گزارش فروش، مبلغ و مبنای مقایسه؛ در پاسخ پشتیبانی، شرایط واقعی قرارداد. مرتب بودن متن نباید این موارد را از نگاه بازبین پنهان کند.
۲. منبع را باز کنید و بند مرتبط را بخوانید
نام یک سازمان معتبر یا لینکِ سالم کافی نیست. عنوان، تاریخ و بخش مورد استناد را پیدا کنید و ببینید همان جمله واقعاً در منبع پشتیبانی می‌شود یا مدل آن را تعمیم داده است. راهنمای کتابخانهٔ دانشگاه رایس نیز میان «وجود داشتن منبع» و «پشتیبانی منبع از ادعا» تفاوت می‌گذارد.
برای مثال، گزارش افزایش فروش چند فروشگاه نمی‌تواند به‌تنهایی ثابت کند یک روش برای تمام کسب‌وکارهای مازندران نتیجهٔ مشابه دارد. اگر ادعا به آیین‌نامه، تعرفه یا شرایط یک سرویس وابسته است، نسخهٔ رسمی و تاریخ اجرای آن را بررسی کنید. منبعی که پیدا نمی‌شود یا بخش مرتبطش در دسترس نیست، هنوز شاهد قابل بررسی شما نیست.
۳. اعداد را خارج از پاسخ مدل محاسبه کنید
دادهٔ اولیه را از فایل اصلی بردارید و جمع، درصد و تبدیل واحد را با ماشین‌حساب یا صفحه‌گسترده تکرار کنید. از مدل بخواهید ورودی و فرمول را مشخص کند، اما نتیجهٔ آن را بدون محاسبهٔ مستقل نپذیرید. این چهار مورد معمولاً ارزش کنترل دوباره دارند:
- مبنای درصد: افزایش نسبت به مقدار اولیه محاسبه شده یا مقدار جدید؟
- واحد: مبلغ ریال است یا تومان؟ مقدار برحسب کیلوگرم است یا تن؟
- بازهٔ مقایسه: دو دوره طول یکسان دارند؟ دادهٔ ماه ناقص با ماه کامل مقایسه نشده است؟
- دادهٔ جاافتاده: مرجوعی، هزینه یا ردیف خالی از محاسبه کنار نرفته است؟
۴. نتیجه را به‌اندازهٔ شواهد بنویسید
درست بودن محاسبه، نتیجه‌گیری بعد از آن را خودکار تأیید نمی‌کند. اگر داده فقط افزایش فروش را نشان می‌دهد، دربارهٔ سود، رضایت مشتری یا علت افزایش فروش ادعای قطعی نسازید. هرجا اطلاعات کافی ندارید، همان محدودیت را دقیق بنویسید؛ مثلاً «دادهٔ هزینه‌ها برای محاسبهٔ سود در دسترس نیست».
در کارهای حساس، خروجی باید به مسئول همان حوزه برسد. OWASP در راهنمای اطلاعات نادرستِ مدل‌های زبانی، بررسی با منابع مستقل و نظارت انسانی را از راه‌های کاهش ریسک معرفی می‌کند. میزان بازبینی یک ایدهٔ اولیه با گزارشی که مبنای پرداخت یا تعهد به مشتری می‌شود یکسان نیست.
مثال عملی: فروش ۲۵ درصد بیشتر شده؛ سود چطور؟
فرض کنید فایل فروش دو ماه، مبلغ‌های ۸۰ و ۱۰۰ میلیون تومان را نشان می‌دهد و مدل می‌نویسد: «فروش و سود شرکت ۲۵ درصد رشد کرده و این رشد نتیجهٔ تبلیغات جدید است.» این جمله سه ادعای جدا دارد:
| ادعای گزارش | روش بررسی | نتیجه |
|---|---|---|
| فروش ۲۵ درصد رشد کرده است. | تطبیق مبلغ‌ها با فایل اصلی و محاسبهٔ ۲۰ تقسیم بر ۸۰، ضرب در ۱۰۰ | با این اعداد، درصد رشد درست است. |
| سود هم ۲۵ درصد رشد کرده است. | بررسی درآمد و هزینهٔ هر دو دوره | از مبلغ فروش به‌تنهایی قابل تأیید نیست. |
| تبلیغات علت رشد بوده است. | بررسی شواهد مربوط به کانال فروش و عوامل دیگر | دادهٔ ارائه‌شده علت رشد را ثابت نمی‌کند. |
اگر هزینهٔ دورهٔ اول ۶۰ و هزینهٔ دورهٔ دوم ۹۰ میلیون تومان باشد، در همین مثال ساده سود از ۲۰ به ۱۰ میلیون می‌رسد؛ یعنی ۵۰ درصد کاهش پیدا می‌کند. پس رشد فروش و رشد سود حتی می‌توانند جهت متفاوتی داشته باشند.
نسخهٔ قابل استفادهٔ گزارش با اطلاعات اولیه این است: «فروش از ۸۰ به ۱۰۰ میلیون تومان رسیده و ۲۵ درصد افزایش داشته است. برای نتیجه‌گیری دربارهٔ سود و علت رشد، بررسی هزینه‌ها و اطلاعات تکمیلی لازم است.» این بازنویسی هم عدد مفید را حفظ می‌کند و هم ادعای بی‌پشتوانه را کنار می‌گذارد.
چک‌لیست کوتاه پیش از ارسال یا انتشار
این فهرست را می‌توانید کنار فایل گزارش یا پیش‌نویس پاسخ مشتری قرار دهید:
- ادعاهای عددی، تاریخ‌دار و اثرگذار بر تصمیم جدا شده‌اند.
- برای هر ادعای مهم، منبع اصلی و بخش پشتیبان آن مشخص است.
- اعداد، واحدها و بازهٔ مقایسه مستقل بررسی شده‌اند.
- اطلاعات قدیمی، تعارض اسناد و نتیجه‌گیری‌های بی‌پشتوانه اصلاح شده‌اند.
- موارد تأییدنشده برای انتشار یا اقدام قطعی استفاده نمی‌شوند.
- خروجی حساس به تأیید مسئول مربوط رسیده است.
برای ثبت بررسی‌ها، یک فایل مشترک با ستون‌های «ادعا»، «منبع و محل شاهد»، «نتیجهٔ بررسی»، «اصلاح لازم»، «بازبین» و «تاریخ» کافی است. وضعیت را روشن بنویسید: تأییدشده، نادرست، تأییدنشده یا نیازمند بررسی تخصصی. پیدا نکردن شاهد، به‌تنهایی اثبات نادرستی ادعا نیست؛ اما مجوز استفادهٔ قطعی از آن هم نیست.
در چت‌بات سازمانی چه چیزهایی را آزمایش کنیم؟
اتصال مدل به اسناد شرکت با روش RAG می‌تواند پاسخ را به منابع مرتبط متکی کند، اما بررسی همچنان لازم است. در یک چت‌بات مبتنی بر PDF و Word، این سه نوع پرسش را به مجموعهٔ آزمون اضافه کنید:
- پاسخ داخل سند است: آیا جواب با همان بند و نسخهٔ سند تطبیق دارد؟
- پاسخ داخل سند نیست: آیا سامانه کمبود اطلاعات را اعلام می‌کند یا جواب می‌سازد؟
- دو سند تعارض دارند: آیا تعارض مشخص می‌شود و پاسخ به نسخهٔ معتبر متکی است؟
سپس محاسبات، جدول‌ها و فایل‌های اسکن‌شدهٔ مهم را جداگانه امتحان کنید. ممکن است متن درست بازیابی شود ولی ردیف جدول یا مقدار عددی اشتباه خوانده شود. وجود ارجاع را با درست بودن ارجاع یکی نگیرید.
برای طراحی چنین فرایندی در راهکارهای هوش مصنوعی و اتوماسیون، از ابتدا مشخص کنید چه کنترل‌هایی خودکار انجام می‌شوند و چه خروجی‌هایی باید بازبینی شوند. هنگام آزمایش نیز دسترسی به اسناد را رعایت کنید؛ جزئیات این موضوع در راهنمای امنیت اطلاعات و محرمانگی اسناد شرکت آمده است.
پرسش‌های متداول
آیا تأیید پاسخ با یک هوش مصنوعی دیگر کافی است؟
پاسخ دوم می‌تواند تناقضی را آشکار کند، اما توافق دو مدل شاهد مستقل محسوب نمی‌شود. برای ادعای مهم، به سند اصلی، دادهٔ قابل بررسی، محاسبه یا آزمون مراجعه کنید.
اگر مدل برای پاسخ خود منبع بدهد، باز هم باید بررسی کنیم؟
بله. منبع ممکن است ساختگی، قدیمی یا نامرتبط باشد. وجود منبع و پشتیبانی آن از همان ادعا را جداگانه کنترل کنید.
از کجا بفهمیم پاسخ هوش مصنوعی اشتباه است؟
لحن پاسخ معیار قابل اتکایی نیست. ادعاها را جدا کنید و با شواهد بیرونی بسنجید. اگر شاهد کافی پیدا نشد، وضعیت آن بخش «تأییدنشده» است و باید پیش از استفادهٔ مهم بررسی بیشتری انجام شود.
آیا راستی‌آزمایی خروجی هوش مصنوعی خودکار می‌شود؟
کنترل فرمول‌ها، قالب داده و بعضی تطبیق‌ها با سند را می‌توان خودکار کرد. ارزیابی معنای ادعا و پیامد استفاده از آن، به‌ویژه در تصمیم‌های حساس، همچنان به بازبینی انسانی نیاز دارد.
