ابزار Sparkیک موتور چند زبانه به منظور اجرای مهندسی داده، علم داده و یادگیری ماشین در یک یا چند گره کلاستر شده است. سامانهی مانیتورینگ معین قابلیت مانیتورینگ این ابزار تحلیل داده را در هر دو حالت کاری مستقل و کلاستر شده دارد. شاخصهای مرتبط با Master ، Workerها، Executeها در Workerها، شاخصهای JVM مانند حافظهی Heap و نیز garbage Collectorها، و RDD جمعآوری و ارایه میشود. در ادامه لیست شاخصهای کارایی Apache Spark ارایه شده است:
اطلاعات کلی:
- نام
- آدرس
- شماره پورت
- نقش گره
شاخصهای گره Master:
- آدرس گرهی Master
- تعداد هستههای Master
- تعداد هستههای استفاده شدهی Master
- کل حافظهی Master
- حافظهی استفاده شدهی Master
- تعداد Workerها
- تعداد Workerهای Alive
- تعداد برنامههای فعال
- تعداد برنامههای خاتمه یافته
- وضعیت گره
- درصد حافظهی استفاده شدهی Master
- درصد هستههای استفاده شده در Master
- تعداد Driverهای فعال
- تعداد Driverهای خاتمه یافته
شاخصهای Workerها:
- شناسه Worker
- آدرس میزبان Worker
- شمارهی پورت Worker
- آدرس وب Worker
- تعداد هستههای Worker
- تعداد هستههای استفاده شدهی Worker
- تعداد هستههای آزاد Worker
- کل حافظهی Worker
- حافظهی استفاده شدهی Worker
- حافظهی آزاد Worker
- زمان سپری شده از آخرین Heartbeat
- وضعیت Worker
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
شاخصهای برنامهها:
- شناسه برنامه
- نام برنامه
- نام کاربر برنامه
- زمان شروع برنامه
- زمان ثبت برنامه
- تعداد هستههای اختصاص یافته به برنامه
- مدت زمان اجرای برنامه
- وضعیت برنامه
- وضعیت اجرای برنامه
شاخصهای Workerها:
- شناسه Worker
- آدرس گرهی Master
- آدرس وب سرویس Master
- تعداد هستههای Worker
- تعداد هستههای استفاده شدهی Worker
- کل حافظهی Worker
- حافظهی استفاده شدهی Worker
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
- تعداد کل Executorهای در حال اجرا
- تعداد کل Executorهای خاتمه یافته
شاخصهای Executorها در Worker:
- شناسهی Executor
- کل حافظهی Executor
- شناسهی برنامهی Executor
- نام برنامهی Executor
- تعداد هستههای برنامهی Executor
- نام کاربر برنامهی Executor
- مقدار حافظهی برنامه در گره Worker
- وضعیت Executor
شاخصهای حافظه
حافظهی Heap و NonHeap:
- حافظهی Committed Heap
- حافظهی Heap اولیه
- حداکثر حافظهی Heap
- حافظهی Heap استفاده شده
- حافظهی Committed Non-Heap
- حافظهی Non-Heap اولیه
- حداکثر حافظهی Non-Heap
- حافظهی Non-Heap استفاده شده
- درصد استفاده از حافظهی Heap
- درصد استفاده از حافظهی Non-Heap
شاخصهای Memory Poolها:
- نام مخزن حافظه
- حافظهی Commit شدهی مخزن حافظه
- حافظهی اولیهی مخزن حافظه
- حداکثر حافظهی مخزن حافظه
- حافظهی استفاده شدهی مخزن حافظه
- درصد استفاده از مخزن حافظه
شاخصهای Garbage Collection:
- تعداد Garbage Collectionها در یک دورهی گذشته
- نرخ Garbage Collection
- زمان Garbage Collectionها در یک دورهی گذشته
- متوسط زمان Garbage Collectionها
- نام GC
شاخصهای RDD:
- تعداد فایلهای خوانده شده از Cache
- تعداد فایلهای کشف شده
- تعداد فراخوانیهای ارسال شده به Hive
- تعداد Jobهای Hive اجرا شده به صورت موازی
- تعداد پارتیشنهای Fetch شده
- میانگین زمان Compilation
- دفعات Compilation
- اندازهی کلاسهای ایجاد شده
- تعداد کلاسهای ایجاد شده
- اندازهی Methodهای ایجاد شده
- تعداد Methodهای ایجاد شده
- اندازهی Source Codeها
- تعداد Source Codeها
پروتکلهای ارتباطی: