آزمایش Context7 با مستندات ZK: نتایج غیرمنتظره کاهش ۱۵ درصدی دقت
آزمایشی که عملکرد Context7 - یک سرور MCP برای بازیابی مستندات - را در پاسخ‌دهی به سوالات فریمورک ZK بررسی کرد. نتایج نشان داد استفاده از این ابزار باعث کاهش ۱۵ درصدی دقت پاسخ‌های هوش مصنوعی شد.
آزمایش عملکرد Context7 با مستندات ZK
این آزمایش به بررسی عملکرد Context7 - یک سرور MCP برای بازیابی مستندات - در پاسخ‌دهی به سوالات مربوط به فریمورک ZK پرداخت. نتایج نشان داد که استفاده از این ابزار نه تنها بهبودی ایجاد نکرد، بلکه باعث کاهش ۱۵ درصدی دقت پاسخ‌های هوش مصنوعی شد.
- امتیاز بدون Context7: ۷۳.۸ درصد (قابل قبول)
- امتیاز با Context7: ۵۹ درصد (رد)
- ۸ سوال از ۱۰ سوال با عملکرد بدتر مواجه شدند
- هیچ سوالی بهبود نیافت
"این آزمایش نشان می‌دهد که بازیابی مستندات و زمینه به اندازه کیفیت محتوا اهمیت دارد"
"ابزارهای محبوب نیز بسته به سبک مستندات فریمورک می‌توانند عملکرد بسیار متفاوتی داشته باشند"
نتایج نشان می‌دهد برای سوالات معماری و امنیتی ZK، استفاده مستقیم از Claude Code بدون Context7 نتایج بهتری دارد. این یافته‌ها به توسعه‌دهندگان کمک می‌کند ابزارهای مناسب را برای workflow خود انتخاب کنند.