Apache Spark backgroundApache Spark
Apache Spark backgroundApache Spark
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana

Apache Spark

ابزار    Sparkیک موتور چند زبانه به منظور اجرای مهندسی داده، علم داده و یادگیری ماشین در یک یا چند گره کلاستر شده است. سامانه‌ی مانیتورینگ معین قابلیت مانیتورینگ این ابزار تحلیل داده را در هر دو حالت کاری مستقل و کلاستر شده دارد. شاخص‌های مرتبط با Master ، Workerها، Executeها در Workerها، شاخص‌های JVM‌ مانند حافظه‌ی Heap و نیز garbage Collectorها، و RDD جمع‌آوری و ارایه می‌شود. در ادامه‌ لیست شاخص‌های کارایی Apache Spark ارایه شده است:

اطلاعات کلی:

  1. نام
  2. آدرس
  3. شماره پورت
  4. نقش گره

شاخص‌های گره Master:

  1. آدرس گره‌ی Master
  2. تعداد هسته‌های Master
  3. تعداد هسته‌های استفاده شده‌ی Master
  4. کل حافظه‌ی Master
  5. حافظه‌ی استفاده شده‌ی Master 
  6. تعداد Workerها
  7. تعداد Workerهای Alive
  8. تعداد برنامه‌های فعال
  9. تعداد برنامه‌های خاتمه یافته
  10. وضعیت گره
  11. درصد حافظه‌ی استفاده شده‌ی Master
  12. درصد هسته‌های استفاده شده در Master
  13. تعداد Driverهای فعال
  14. تعداد Driverهای خاتمه یافته

Spark Master.overview.fa

شاخص‌های Workerها:

  1. ‌‌شناسه Worker
  2. آدرس میزبان Worker
  3. شماره‌ی پورت Worker
  4. آدرس وب Worker
  5. تعداد هسته‌های Worker
  6. تعداد هسته‌های استفاده شده‌ی Worker
  7. تعداد هسته‌های آزاد Worker
  8. کل حافظه‌ی Worker
  9. حافظه‌ی استفاده شده‌ی Worker
  10. حافظه‌ی آزاد Worker
  11. زمان سپری شده از آخرین Heartbeat
  12. وضعیت Worker
  13. درصد حافظه‌ی استفاده شده‌ی Worker
  14. درصد هسته‌های استفاده شده در Worker

Spark Master.worker.fa

شاخص‌های برنامه‌ها:

  1. شناسه برنامه
  2. نام برنامه
  3. نام کاربر برنامه
  4. زمان شروع برنامه
  5. زمان ثبت برنامه
  6. تعداد هسته‌های اختصاص یافته به برنامه
  7. مدت زمان اجرای برنامه
  8. وضعیت برنامه
  9. وضعیت اجرای برنامه

شاخص‌های Workerها:

  1. ‌شناسه Worker
  2. آدرس گره‌ی Master
  3. آدرس وب سرویس Master
  4. تعداد هسته‌های Worker
  5. تعداد هسته‌های استفاده شده‌ی Worker
  6. کل حافظه‌ی Worker
  7. حافظه‌ی استفاده شده‌ی Worker
  8. درصد حافظه‌ی استفاده شده‌ی Worker
  9. درصد هسته‌های استفاده شده در Worker
  10. تعداد کل Executorهای در حال اجرا
  11. تعداد کل Executorهای خاتمه یافته

Spark Worker.over View.fa

شاخص‌های Executorها در Worker:

  1. شناسه‌ی Executor
  2. کل حافظه‌ی Executor
  3. شناسه‌ی برنامه‌ی Executor
  4. نام برنامه‌ی Executor
  5. تعداد هسته‌های برنامه‌ی Executor
  6. نام کاربر برنامه‌ی Executor
  7. مقدار حافظه‌ی برنامه در گره Worker
  8. وضعیت Executor

شاخص‌های حافظه

حافظه‌ی Heap و NonHeap:

  1. حافظه‌ی Committed Heap
  2. حافظه‌ی Heap اولیه
  3. حداکثر حافظه‌ی Heap
  4. حافظه‌ی Heap استفاده شده
  5. حافظه‌ی Committed Non-Heap
  6. حافظه‌ی Non-Heap اولیه
  7. حداکثر حافظه‌ی Non-Heap
  8. حافظه‌ی Non-Heap استفاده شده
  9. درصد استفاده از حافظه‌ی Heap
  10. درصد استفاده از حافظه‌ی Non-Heap

شاخص‌های Memory Poolها:

  1. نام مخزن حافظه
  2. حافظه‌ی Commit شده‌ی مخزن حافظه
  3. حافظه‌ی اولیه‌ی مخزن حافظه
  4. حداکثر حافظه‌ی مخزن حافظه
  5. حافظه‌ی استفاده شده‌ی مخزن حافظه
  6. درصد استفاده از مخزن حافظه

شاخص‌های Garbage Collection:

  1. تعداد Garbage Collectionها در یک دوره‌ی گذشته
  2. نرخ Garbage Collection
  3. زمان Garbage Collectionها در یک دوره‌ی گذشته
  4. متوسط زمان Garbage Collectionها
  5. نام GC

Spark Worker.memory.fa

شاخص‌های RDD:

  1. تعداد فایل‌های خوانده شده از Cache
  2. تعداد فایل‌های کشف شده
  3. تعداد فراخوانی‌های ارسال شده به Hive
  4. تعداد Jobهای Hive اجرا شده به صورت موازی
  5. تعداد پارتیشن‌های Fetch شده
  6. میانگین زمان Compilation
  7. دفعات Compilation
  8. اندازه‌ی کلاس‌های ایجاد شده
  9. تعداد کلاس‌های ایجاد شده
  10. اندازه‌ی Methodهای ایجاد شده
  11. تعداد Methodهای ایجاد شده
  12. اندازه‌ی Source Codeها
  13. تعداد Source Codeها

Spark Worker.kpi2.fa

پروتکل‌های ارتباطی:

  • REST
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana
آدرس
تهران، خیابان آزادی، خیابان صادقی (جنب دانشگاه صنعتی شریف)، بن بست دوم، پلاک ۸، طبقه سوم، کد پستی ۱۴۵۸۸۴۶۱۵۵
تمامی حقوق برای شرکت فناوری اطلاعات بهپایا محفوظ است.