مزيت استفاده از داده هاي اعتبارسنجي (validation) در فرآيند آموزش توسط كلاسيفاير چيست؟

مزيت استفاده از داده هاي اعتبارسنجي (validation) در فرآيند آموزش توسط كلاسيفاير چيست؟

در حالت عادي دسته بند ها داده ها را به دو دسته داده هاي آموزش و داده هاي تست تقسيم مي كنند كه در آن داده هاي آموزش براي فرآيند يادگيري استفاده مي شوند و از داده هاي تست براي آزمايش دسته بند استفاده مي شود. اما در بعضي اوقات مخصوصا هنگام كار با شبكه هاي عصبي داده ها به سه دسته تقسيم مي شوند يعني در آن داده هاي اعتبار سنجي هم اضافه مي شوند.

اگر فرايند آموزش خيلي طولاني باشد، بيش برازش پيش مي­آيد يعني شبكه خيلي به داده­هاي آموزش حساس مي­شود و اگر داده­هاي جديد كمي متفاوت باشند، نتيجه­ي دقيقي حاصل نمي­شود. به همين دليل در اين مقاله داده­ها يه سه دسته ­ي آموزش، اعتبارسنجي و آزمايش تقسيم مي­شوند.

اهميت داده­هاي اعتبارسنجي اين است كه از وقوع بيش برازش جلوگيري مي­كند.زماني كه فرايند آموزش توسط داده هاي بخش آموزش انجام مي گيرد، توسط داده هاي اعتبارسنجي بررسي مي كنيم كه سيستم خيلي وابسته به داده هاي آموزش نباشد. در شكل  يك نمونه فرآيند آموزش و ميزان­ خطاهاي آموزش، اعتبارسنجي و آزمايش در هر اپوك نشان داده شده است. همانطور كه مشاهده مي­شود هر چه تعداد اپوك­ها بيشتر شود، ميزان خطاي آموزش كاهش مي­يايد اما به نقطه­اي مي­رسيم كه كم كم خطاي اعتبارسنجي افزايش مي­ يايد؛ اين نقطه همان جايي است كه ممكن است از آن به بعد بيش برازش اتفاق بيوفتد به همين دليل فرايند آموزش در آن متوقف مي­شود.