কন্টেন্ট

• ধাপ
• পরামর্শ
• তোমার কি দরকার

পরিসংখ্যানগুলিতে, আউটলাইয়ারগুলি এমন মান যা সংগৃহীত ডেটাসেটের অন্যান্য মানগুলির থেকে তীব্রভাবে পৃথক হয়। একটি বহিরাগত তথ্য বিতরণ বা পরিমাপ ত্রুটির মধ্যে অসঙ্গতি নির্দেশ করতে পারে, তাই বহিরাগতদের প্রায়ই ডেটাসেট থেকে বাদ দেওয়া হয়। ডেটাসেট থেকে বহিরাগতদের বাদ দিয়ে, আপনি অপ্রত্যাশিত বা আরো সঠিক সিদ্ধান্তে আসতে পারেন। অতএব, পরিসংখ্যানের সঠিক বোঝাপড়া নিশ্চিত করার জন্য বহিরাগতদের গণনা এবং অনুমান করতে সক্ষম হওয়া প্রয়োজন।

ধাপ

1. 1 সম্ভাব্য বহিরাগতদের চিনতে শিখুন। ডেটাসেট থেকে বহিরাগতদের বাদ দেওয়ার আগে সম্ভাব্য বহিরাগতদের চিহ্নিত করা উচিত। আউটলাইয়ারগুলি এমন মান যা ডেটাসেটের বেশিরভাগ মান থেকে খুব আলাদা; অন্য কথায়, বহিরাগতরা বেশিরভাগ মানগুলির প্রবণতার বাইরে। মানগুলির সারণীতে বা (বিশেষ করে) গ্রাফে এটি খুঁজে পাওয়া সহজ। যদি ডেটাসেটের মানগুলি প্লট করা হয়, বহিরাগতরা অন্যান্য মান থেকে অনেক দূরে থাকবে। উদাহরণস্বরূপ, যদি বেশিরভাগ মান একটি সরলরেখায় পড়ে, তাহলে বহিরাগতরা এই ধরনের সরলরেখার উভয় পাশে থাকে।
   • উদাহরণস্বরূপ, একটি ডেটাসেট বিবেচনা করুন যা একটি ঘরে 12 টি ভিন্ন বস্তুর তাপমাত্রা উপস্থাপন করে। যদি 11 টি বস্তু প্রায় 70 ডিগ্রী হয়, কিন্তু দ্বাদশ বস্তু (সম্ভবত একটি চুল্লি) 300 ডিগ্রী হয়, তাহলে মানগুলির একটি দ্রুত দৃষ্টিভঙ্গি নির্দেশ করতে পারে যে চুল্লিটি একটি সম্ভাব্য বিস্ফোরণ।
2. 2 ক্রমবর্ধমান ক্রমে তথ্য সাজান। বহিরাগত নির্ধারণের প্রথম ধাপ হল ডেটাসেটের মধ্যমা গণনা করা। এই কাজটি ব্যাপকভাবে সরলীকৃত হয় যদি ডেটাসেটের মানগুলি আরোহী ক্রমে সাজানো হয় (ছোট থেকে বড় পর্যন্ত)।
   • উপরের উদাহরণটি অব্যাহত রেখে, নিম্নলিখিত ডেটাসেটটি বিবেচনা করুন যা একাধিক বস্তুর তাপমাত্রা প্রতিনিধিত্ব করে: {71, 70, 73, 70, 70, 69, 70, 72, 71, 300, 71, 69}। এই সেটটি নিম্নরূপ অর্ডার করা উচিত: {69, 69, 70, 70, 70, 70, 71, 71, 71, 72, 73, 300}।
3. 3 ডেটাসেটের মধ্যমা গণনা করুন। ডেটাসেটের মধ্যমা হল ডেটাসেটের মাঝখানে মান। যদি ডেটাসেটে একটি বিজোড় সংখ্যক মান থাকে, মধ্যম হল সেই মান যা আগে এবং পরে ডেটাসেটে একই সংখ্যক মান থাকে। কিন্তু যদি ডেটাসেটে সমান সংখ্যক মান থাকে, তাহলে আপনাকে দুটি মাধ্যমের গাণিতিক গড় বের করতে হবে। লক্ষ্য করুন যে বহিরাগত গণনা করার সময়, মাঝারি সাধারণত Q2 হিসাবে উল্লেখ করা হয়, কারণ এটি Q1 এবং Q3, নিম্ন এবং উপরের চতুর্ভুজের মধ্যে অবস্থিত, যা আমরা পরে সংজ্ঞায়িত করব।
   • ডেটাসেটের সাথে কাজ করতে ভয় পাবেন না যার মান সমান হবে- দুটি মাধ্যমের গাণিতিক গড় হবে এমন একটি সংখ্যা যা ডেটাসেটে নেই; এইটা সাধারণ. কিন্তু যদি দুটি গড় মান একই সংখ্যা হয়, তাহলে গাণিতিক গড় এই সংখ্যার সমান; এটি জিনিসের ক্রমেও।
   • উপরের উদাহরণে, মধ্য 2 মানগুলি 70 এবং 71, তাই মধ্যমা হল ((70 + 71) / 2) = 70.5।
4. 4 নিচের চতুর্থাংশ গণনা করুন। এই মান, যা Q1 হিসাবে উল্লেখ করা হয়, যার নীচে 25% ডেটা সেট মান থাকে। অন্য কথায়, এটি মধ্যমা পর্যন্ত মানগুলির অর্ধেক। যদি মিডিয়ানের আগে ডেটাসেট থেকে সমান সংখ্যক মান থাকে, তাহলে Q1 গণনা করার জন্য আপনাকে দুটি মাধ্যমের গাণিতিক গড় খুঁজে বের করতে হবে (এটি মধ্যমা গণনার অনুরূপ)।
   • আমাদের উদাহরণে, 6 টি মান মধ্যবর্তী এবং 6 টি মান- এর আগে অবস্থিত। এর মানে হল যে নিম্ন চতুর্থাংশ গণনা করার জন্য, আমাদের মধ্যমাটির আগে থাকা ছয়টি মানগুলির দুটি মাধ্যমের গাণিতিক গড় খুঁজে বের করতে হবে। এখানে গড় মান 70 এবং 70। এইভাবে, Q1 = ((70 + 70) / 2) = 70।
5. 5 উপরের চতুর্থাংশ গণনা করুন। এই মান, যা Q3 হিসাবে উল্লেখ করা হয়, যার উপরে ডেটা সেট মানগুলির 25% মিথ্যা। Q3 গণনা করার প্রক্রিয়া Q1 গণনার প্রক্রিয়ার অনুরূপ, কিন্তু এখানে মধ্যবর্তী পরের মানগুলি বিবেচনা করা হয়।
   • উপরের উদাহরণে, মধ্যবর্তী পরে ছয়টির দুটি গড় হল 71 এবং 72. সুতরাং Q3 = ((71 + 72) / 2) = 71.5।
6. 6 অন্তর্বর্তী পরিসীমা গণনা করুন। Q1 এবং Q3 গণনা করে, এই মানগুলির মধ্যে দূরত্ব খুঁজে বের করা প্রয়োজন। এটি করার জন্য, Q3 থেকে Q1 বিয়োগ করুন। বহির্মুখী নয় এমন মানগুলির সীমানা নির্ধারণের জন্য অন্তর্বর্তী পরিসরের মান অত্যন্ত গুরুত্বপূর্ণ।
   • আমাদের উদাহরণে, Q1 = 70 এবং Q3 = 71.5। অন্তর্বর্তী পরিসীমা 71.5 - 70 = 1.5।
   • মনে রাখবেন এটি নেতিবাচক Q1 এবং Q3 মানের ক্ষেত্রেও প্রযোজ্য। উদাহরণস্বরূপ, যদি Q1 = -70 হয়, তাহলে অন্তর্বর্তী পরিসীমা 71.5 -(-70) = 141.5।
7. 7 ডেটাসেটের মানগুলির "অভ্যন্তরীণ সীমানা" খুঁজুন। বহিরাগতরা মানগুলি বিশ্লেষণ করে নির্ধারিত হয়- তারা তথাকথিত "অভ্যন্তরীণ সীমানা" এবং "বাহ্যিক সীমানা" এর মধ্যে পড়ে কি না। "অভ্যন্তরীণ সীমার" বাইরে একটি মানকে "ছোটখাট বহিরাগত" হিসাবে শ্রেণীবদ্ধ করা হয়, যখন "বাহ্যিক সীমার" বাইরে একটি মানকে "উল্লেখযোগ্য বহিরাগত" হিসাবে শ্রেণীবদ্ধ করা হয়। অভ্যন্তরীণ সীমানা খুঁজে বের করার জন্য, আপনাকে আন্তquপার্টিয়ার পরিসীমা 1.5 দ্বারা গুণ করতে হবে; ফলাফলটি Q3 তে যোগ করতে হবে এবং Q1 থেকে বিয়োগ করতে হবে। পাওয়া দুটি সংখ্যা হল ডেটাসেটের ভেতরের সীমানা।
   • আমাদের উদাহরণে, অন্তর্বর্তী পরিসীমা হল (71.5 - 70) = 1.5। আরও: 1.5 * 1.5 = 2.25। এই সংখ্যাটি অবশ্যই Q3 তে যুক্ত করতে হবে এবং Q1 থেকে বিয়োগ করে ভিতরের সীমানা খুঁজে পেতে হবে:
     • 71,5 + 2,25 = 73,75
     • 70 - 2,25 = 67,75
     • সুতরাং, অভ্যন্তরীণ সীমানা হল 67.75 এবং 73.75।
   • আমাদের উদাহরণে, শুধুমাত্র চুল্লির তাপমাত্রা - 300 ডিগ্রি - এই সীমার বাইরে এবং এটি একটি তুচ্ছ নির্গমন হিসাবে বিবেচিত হতে পারে। কিন্তু সিদ্ধান্তে ঝাঁপিয়ে পড়বেন না - আমাদের এই তাপমাত্রা একটি উল্লেখযোগ্য বহিরাগত কিনা তা নির্ধারণ করতে হবে।
8. 8 ডেটাসেটের "বাইরের সীমানা" খুঁজুন। এটি অভ্যন্তরীণ সীমানার জন্য একইভাবে করা হয়, ব্যতীত আন্তquপার্টিয়ার পরিসীমা 1.5 এর পরিবর্তে 3 দ্বারা গুণিত হয়। ফলাফলটি Q3 তে যুক্ত করতে হবে এবং Q1 থেকে বিয়োগ করতে হবে। পাওয়া দুটি সংখ্যা হল ডেটাসেটের বাইরের সীমানা।
   • আমাদের উদাহরণে, 3: 1.5 * 3 = 4.5 দ্বারা অন্তর্বর্তী পরিসরকে গুণ করুন। বাইরের সীমা গণনা করুন:
     • 71,5 + 4,5 = 76
     • 70 - 4,5 = 65,5
     • সুতরাং বাইরের সীমানা 65.5 এবং 76।
   • বাইরের সীমানার বাইরে যে কোন মানগুলি উল্লেখযোগ্য নির্গমন হিসাবে বিবেচিত হয়। আমাদের উদাহরণে, 300 ডিগ্রি একটি চুল্লি তাপমাত্রা একটি উল্লেখযোগ্য ঝাপসা হিসাবে বিবেচিত হয়।
9. 9 বহিরাগতদের ডেটাসেট থেকে বাদ দেওয়া উচিত কিনা তা নির্ধারণ করতে একটি গুণগত অনুমান ব্যবহার করুন। উপরে বর্ণিত পদ্ধতি আপনাকে কিছু মান বহিরাগত (ছোট বা তাৎপর্যপূর্ণ) কিনা তা নির্ধারণ করতে দেয়। কোন ভুল করবেন না, যদিও - একটি মান যা একটি বহিরাগত হিসাবে শ্রেণীবদ্ধ করা হয় শুধুমাত্র একটি ব্যতিক্রমের জন্য "প্রার্থী", অর্থাত আপনাকে এটি বাদ দিতে হবে না। বহিরাগত কারণ বহিরাগতকে বাদ দেওয়ার সিদ্ধান্তকে প্রভাবিত করে। একটি নিয়ম হিসাবে, ত্রুটিগুলির কারণে (পরিমাপ, রেকর্ডিং ইত্যাদিতে) বহিরাগতরা বাদ দেওয়া হয়। অন্যদিকে, ত্রুটিগুলির সাথে নয় বরং নতুন তথ্য বা প্রবণতার সাথে যুক্ত বহিরাগতরা সাধারণত ডেটাসেটে থাকে।
   • ডেটাসেটের মধ্যমাতে বহিরাগতদের প্রভাব মূল্যায়ন করা সমানভাবে গুরুত্বপূর্ণ (তারা তা বিকৃত করুক বা না করুক)। এটি বিশেষভাবে গুরুত্বপূর্ণ যখন আপনি একটি ডেটাসেটের মধ্যমা থেকে উপসংহার আঁকছেন।
   • আমাদের উদাহরণে, এটা খুবই অসম্ভাব্য যে চুলা 300 ডিগ্রি তাপমাত্রা পর্যন্ত গরম হবে (যদি না আমরা প্রাকৃতিক অসঙ্গতিগুলি বিবেচনা করি)। অতএব, এটি উপসংহারে আসতে পারে (উচ্চ মাত্রার নিশ্চিততার সাথে) যে এই ধরনের তাপমাত্রা একটি পরিমাপ ত্রুটি যা ডেটাসেট থেকে বাদ দেওয়া প্রয়োজন। তাছাড়া, যদি আপনি বহিরাগতকে বাতিল না করেন, তাহলে ডেটাসেটের মধ্যমা হবে (69 + 69 + 70 + 70 + 70 + 70 + 71 + 71 + 71 + 72 + 73 + 300) / 12 = 89.67 ডিগ্রী, কিন্তু যদি আপনি বাহ্যিককে বাদ দেন, মধ্যমা হবে (69 + 69 + 70 + 70 + 70 + 70 + 70 + 71 + 71 + 71 + 72 + 73) / 11 = 70.55 ডিগ্রী।
     • বহিরাগতরা সাধারণত মানুষের ত্রুটির ফলাফল, তাই বহিরাগতদের ডেটাসেট থেকে বাদ দেওয়া প্রয়োজন।
10. 10 ডেটাসেটে (কখনও কখনও) বহিরাগতদের গুরুত্ব বুঝুন। কিছু বহিরাগতদের ডেটাসেট থেকে বাদ দেওয়া উচিত কারণ তারা ত্রুটি এবং প্রযুক্তিগত সমস্যার কারণে; অন্যান্য বহিরাগতদের ডেটাসেটে রেখে দেওয়া উচিত। উদাহরণস্বরূপ, যদি একটি বহিরাগত একটি ত্রুটির ফলাফল না হয় এবং / অথবা পরীক্ষার অধীনে ঘটনাটির একটি নতুন উপলব্ধি প্রদান করে, তাহলে এটি ডেটাসেটে রেখে দেওয়া উচিত। বৈজ্ঞানিক পরীক্ষাগুলি বহিরাগতদের জন্য বিশেষভাবে সংবেদনশীল - ভুলভাবে একটি বহিরাগতকে নির্মূল করে, আপনি কিছু নতুন প্রবণতা বা আবিষ্কারের অভাব অনুভব করতে পারেন।
    • উদাহরণস্বরূপ, আমরা মৎস্যজীবনে মাছের আকার বৃদ্ধির জন্য একটি নতুন ওষুধ তৈরি করছি। আমরা পুরাতন ডেটাসেট ({71, 70, 73, 70, 70, 69, 70, 72, 71, 300, 71, 69}) ব্যবহার করব, কিন্তু এই সময় প্রতিটি মান মাছের ওজনকে (গ্রামে) উপস্থাপন করবে পরীক্ষামূলক ওষুধ খাওয়ার পরে। অন্য কথায়, প্রথম ওষুধটি 71 গ্রাম পর্যন্ত মাছের ওজন বৃদ্ধির দিকে পরিচালিত করে, দ্বিতীয় ওষুধ - 70 গ্রাম পর্যন্ত, ইত্যাদি। এই পরিস্থিতিতে, 300 একটি উল্লেখযোগ্য বহিরাগত, কিন্তু আমাদের অবশ্যই এটি বাতিল করা উচিত নয়; যদি আমরা ধরে নিই যে কোন পরিমাপের ত্রুটি ছিল না, তাহলে এই ধরনের একটি বহিরাগত পরীক্ষায় একটি উল্লেখযোগ্য সাফল্য। যে ওষুধটি মাছের ওজন 300 গ্রাম পর্যন্ত বাড়িয়েছে, অন্যান্য ওষুধের তুলনায় অনেক ভালো কাজ করে; এইভাবে ডেটাসেটে 300 হল সবচেয়ে গুরুত্বপূর্ণ মান।

পরামর্শ

• যখন বহিরাগত পাওয়া যায়, ডেটাসেট থেকে বাদ দেওয়ার আগে তাদের উপস্থিতি ব্যাখ্যা করার চেষ্টা করুন। তারা পরিমাপের ত্রুটি বা বিতরণের অসঙ্গতিগুলি নির্দেশ করতে পারে।

তোমার কি দরকার

• ক্যালকুলেটর