Apache Hadoop Yarn backgroundApache Hadoop Yarn
Apache Hadoop Yarn backgroundApache Hadoop Yarn
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana

Apache Hadoop Yarn

ابزار YARN   وظیفه‌ی هماهنگی پردازش داده در اکوسیستم Hadoop را بر عهده دارد. معماری کلاستر YARN به صورت Master-Slave است که متشکل از ResourceManager به عنوان Master و یک یا چند NodeManager به عنوان Slaveها که وظیفه‌ی مدیریت Jobها را بر عهده دارند می‌باشد. سامانه‌ی مانیتورینگ معین قابلیت مانیتورینگ کلاستر YARN را دارد که شامل مانیتورینگ ResourceManager، NodeManager و نیز شاخص‌های JVM آنها، می‌باشد. در ادامه لیست شاخص‌های کلاستر YARN ارایه شده است:

 

شاخص‌های ResourceManager :

 شاخص‌های JVM:

شاخص‌ها و پارامتر‌های مرتبط با JVM در شئ JVM ارایه شده است. 

شاخص‌های Cluster :

  1. نام میزبان ResourceManager
  2. تعداد NodeManagerهای فعال
  3. تعداد NodeManagerهای Decommission شده
  4. تعداد NodeManagerهای Lost شده
  5. تعداد NodeManagerهای Unhealthy
  6. تعداد NodeManagerهای Reboot شده
  7. تعداد AMهای Launch شده
  8. متوسط زمان Launch شدن AMها
  9. تعداد AMهای Register شده
  10. متوسط زمان Register شدن AMها
  11. برنامه‌های Submit شده
  12. برنامه‌های درحال اجرا
  13. برنامه‌های Pend شده
  14. برنامه‌های تکمیل شده
  15. برنامه‌های Kill شده

Yarn Resource Manager.overview.fa

شاخص‌های Live Nodes :

  1. نام میزبان NodeManager
  2. نام راک NodeManager
  3. وضعیت NodeManager
  4. شناسه‌ی NodeManager
  5. آدرس وب NodeManager
  6. آخرین زمان بروزرسانی سلامت NodeManager
  7. گزارش سلامت NodeManager
  8. نسخه‌ی NodeManager
  9. تعداد Containerهای NodeManager
  10. حافظه‌ی استفاده شده‌ی NodeManager
  11. حافظه‌ی آزاد NodeManager
  12. درصد حافظه‌ی استفاده شده‌ی NodeManager

Yarn Resource Manager.node Manager.fa

اطلاعات کلی از ResourceManager:

  1. وضعیت ResourceManager
  2. وضعیت فعال بودن امنیت
  3. نام میزبان ResourceManager
  4. شماره پورت ResourceManager

شاخص‌های Queueها:

  1. نام صف
  2. نام میزبان صف
  3. برنامه‌های در حال اجرای با زمان کمتر از ۶۰ دقیقه
  4. برنامه‌های در حال اجرای با زمان بین ۶۰ تا ۳۰۰ دقیقه
  5. برنامه‌های در حال اجرای با زمان بین ۳۰۰ تا ۱۴۴۰ دقیقه
  6. برنامه‌های در حال اجرای با زمان بیش از ۱۴۴۰ دقیقه
  7. برنامه‌های Submit شده
  8. برنامه‌های در حال اجرا
  9. برنامه‌های Pend شده
  10. برنامه‌های تکمیل شده
  11. برنامه‌های Kill شده
  12. مقدار حافظه‌ی اختصاص یافته
  13. تعداد هسته‌های اختصاص یافته
  14. تعداد Containerهای اختصاص یافته‌ی جاری
  15. تعداد کل Containerهای اختصاص یافته
  16. تعداد کل Containerهای اختصاص یافته در سطح یک راک
  17. تعداد کل Containerهای Off Switch اختصاص یافته 
  18. تعداد Containerهای Release شده
  19. حافظه‌ی در دسترس
  20. هسته‌های در دسترس
  21. مقدار حافظه‌ی درخواست شده
  22. تعداد هسته‌های درخواست شده
  23. تعداد Containerهای درخواست شده
  24. حافظه‌ی رزرو شده
  25. تعداد هسته‌های رزرو شده
  26. تعداد Containerهای رزرو شده
  27. تعداد کاربران فعال
  28. تعداد برنامه‌های فعال

Yarn Resource Manager.queue.fa

شاخص‌های NodeManager:

شاخص‌های JVM:

شاخص‌ها و پارامتر‌های مرتبط با JVM در شئ JVM ارایه شده است. 

شاخص‌های NodeManager:

  1. تعداد Containerهای Launch شده
  2. تعداد Containerهای تکمیل‌شده موفق
  3. تعداد Containerهای Fail شده
  4. تعداد Containerهای Kill شده
  5. تعداد Containerهای در مرحله Initializing
  6. تعداد Containerهای درحال اجرا
  7. حافظه‌ی اختصاص یافته
  8. تعداد Containerهای اختصاص یافته
  9. حافظه‌ی آزاد
  10. هسته‌های استفاده شده
  11. هسته‌های آزاد

Yarn Node Manager.over View.fa

پروتکل‌های ارتباطی:

  • JMX
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana
آدرس
تهران، خیابان آزادی، خیابان صادقی (جنب دانشگاه صنعتی شریف)، بن بست دوم، پلاک ۸، طبقه سوم، کد پستی ۱۴۵۸۸۴۶۱۵۵
تمامی حقوق برای شرکت فناوری اطلاعات بهپایا محفوظ است.