به طوریکه:
حال با بهره گرفتن از روش فوق، برآوردگر رگرسیون ریج خطی شده را بدست می آوریم.
۳ -۳ – ۲- بدست آوردن برآوردگر رگرسیون ریج خطی شده
همانطور که مشاهده می کنید در برآوردگر ، به بستگی دارد و برای هر ، یک تابع غیر خطی از است. حال فرض کنید درایه قطر اصلی ماتریس به صورت آزادانه تغییر کند. در این صورت یک نسخه هم ارز با برآوردگر رگرسیون ریج تعمیم یافته () که یک تابع خطی از پارامتر اریب است و برآوردگر رگرسیون ریج معمولی () یک حالت خاصی از آن است را به صورت زیر بدست می آوریم:

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

(۳ - ۱۱)
به طوریکه:
این برآوردگر را برآوردگر رگرسیون ریج خطی شده می نامیم. توجه داشته باشیدکه به وسیله خطی شده، در حالی که نه تنها توسط خطی شده بلکه به وسیله تعمیم یافته است. با توجه به (۳ - ۱۱) مشاهده می گردد که برآوردگر رگرسیون ریج خطی شده یک تابع خطی از پارامتر جدید اریب ریج است. نشان خواهیم داد که در تجزیه و تحلیل بسیار مفید و در برابر مشکلات انتخاب پارامتر ریج در به ما کمک می کند، به این صورت که اگر پارامتر اریب برآوردگر را بهینه انتخاب کنیم از معادله (۳ - ۸) به صورت زیر می توانیم را بدست آوریم:
(۳ – ۱۲)
قابل توجه است که شکل برآوردگر رگرسیون ریج خطی شده شبیه به ذکرشده در (۳ - ۶) و نسخه تعمیم یافته دیگر از برآوردگر لیو که توسط لیو به صورت زیر ارائه شد، می باشد:
(۳ - ۱۳)
۳ – ۴- بهینه کردن سه برآوردگر و و در مجموعه های مختلف
در این بخش آماره PRESS سه برآوردگر فوق را بدست آورده و سپس با مینیمم کردن آماره PRESS بدست آمده، آنها را بهینه می کنیم.
۳ – ۴ – ۱- بدست آوردن آماره PRESS برای سه برآوردگر
برآوردگر با بهره گرفتن از معیار MSEدر مطالعات قبل مورد مطالعه قرار گرفته بود، در سال ۱۹۹۵ آکدنیز و ارول^[۳۳] برآوردگرهای و را با بهره گرفتن از معیار MSE مورد مقایسه قرار دادند. حال هدف ما در این بخش مقایسه این برآوردگرها نیست، بلکه بدست آوردن مقدار بهینه برای برآوردگرهای و و با بهره گرفتن از آماره PRESS (بخش۱ – ۴) می باشد. در بررسی های قبل، این آماره برای انتخاب پارامترها مورد بررسی قرار گرفته است. برای مثال، مونتگومری و فریدمن^[۳۴] در سال ۱۹۹۳ آماره PRESS را برای انتخاب پارامترهای ریج به کار بردند و ازکال و کارانلار در سال ۲۰۰۷ آماره PRESS را برای انتخاب بهینه پارامتر لیو استفاده کردند.
حال آماره PRESS را برای سه برآوردگر فوق بدست می آوریم. در حقیقت با جایگزین کردن به جای و به جای در سه برآوردگر، برآوردگرهای را بدون استفاده از امین مشاهده به صورت زیر بدست می آوریم:
(۳ - ۱۴) (اثبات در پیوست ۱)
جائیکه:
یک ماتریس متعامد است، به طوریکه:
وقتیکه مقادیر ویژه ماتریس و بردارهای ویژه متناظر با آن مقادیر ویژه است و علاوه بر این:
,
,
,
,
در روند محاسبه PRESS، برای راحتی کار نمادهای زیر را معرفی می کنیم:
حال به محاسبه آماره PRESS برای سه برآوردگر ، و با بهره گرفتن از نمادهای فوق می پردازیم.
به طوریکه نماد نشان دهنده حاصلضرب هادامارد (بخش ۱ – ۵ ) می باشد.
۳ – ۴ – ۲ –روش بهینه کردن سه برآوردگر
در این بخش می خواهیم با بهره گرفتن از آماره PRESS سه برآوردگر محاسبه شده در بخش قبل، این سه برآوردگر را بهینه کنیم. یعنی پارامتر d را طوری بیابیم که مقدار آماره PRESS مینیمم شود. اگر به آماره PRESS سه برآورگر دقت کنیم به نظر می آید این آماره ها مساوی مجموع مربعات باقی مانده ها^[۳۵] (SSE) در مدل رگرسیون خطی به شکل است و همان طور که می دانیم بردار رگرسیونی بعدی SSE را مینیمم می کند اگر و فقط اگر آن بردار، برآورد حداقل مربعات متناظر با آن باشد یعنی:
آماره های , , طبق توضیح بالا مینیمم می شوند اگر به ترتیب به صورت زیر باشد:
(۳ - ۱۵)
به علاوه
مباحث ارائه شده در این بخش را می توان به صورت خلاصه در قضیه زیر آورد:
قضیه۳ – ۲: جملات زیر همیشه برقرار است:
۱- دارای کوچکترین PRESS در مجموعه همه ی برآوردگرهای رگرسیون ریج خطی شده می باشد با:
۲- دارای کوچکترین PRESS در مجموعه برآوردگرهای نسخه اول لیو تعمیم یافته است. با:
۳- کوچکترین PRESS در مجموعه براوردگرهای نسخه دوم لیو تعمیم را داراست با:
اثبات: با توجه به مباحث مطرح شده در این بخش، آماره PRESS هر سه برآوردگر را نسبت به مینیمم کرده و (۳ - ۱۵) را بدست آوریم. حال کافی است هر یک از های بدست آمده در (۳ - ۱۵) را در آماره PRESS هر سه برآوردگر به ترتیب قرار دهیم تا مقدار PRESS مینیمم بدست آید. برای مثال را در قرار می دهیم، داریم:
از آنجایی که ماتریس خود توان است، پس داریم:
به همین ترتیب، برای بدست آوردن و مانند فوق عمل می کنیم. ■
حال اگر در سه برآوردگر معرفی شده قرار دهیم، آنگاه هر سه برآوردگر برابر با خواهند بود.
با بهره گرفتن از نمادهای فوق به راحتی می توان نتیجه گرفت که با انتخاب به صورت زیر مینیمم می شود:
برای مثال در برآوردگر رگرسیون ریج خطی شده با جایگذاری آماره PRESS را بدست آورده و نسبت به مینیمم می کنیم:
در نتیجه مقدار یی که PRESS را مینیمم کند به راحتی به صورت زیر بدست می آید:
و در نتیجه:
در پایان توجه داشته باشید که با جایگزین کردن بدست آمده در (۳ - ۱۵) در معادله (۳ - ۱۲) می توان مقدار بهینه را با کمک معادله برای بدست آورد و این یک نتیجه جالب است زیرا انتخاب بهینه پارامترهای ریج در برآوردگر GRR به راحتی بدست نمی آید ولی در این پایان نامه یک روش دقیق بر حسب معیار PRESS ارائه گردید. بنابراین قضیه زیر را داریم:
قضیه۳ – ۳: انتخاب بهینه پارامترهای ریج در براوردگر تحت معیار PRESS عبارت است از:
فصل چهارم
مثال های کاربردی و شبیه سازی