NiFi backgroundNiFi
NiFi backgroundNiFi
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana

NiFi

Apache NiFi یک سیستم قابل اعتماد، قدرتمند و ساده به منظور پردازش و توزیع داده‌ها می‌باشد. این ابزار از گراف‌های جهت‌دار مقیاس‌پذیر برای مسیریابی، تبدیل و اعمال منطق سیستم پشتیبانی می‌کند. سامانه مانیتورینگ معین قابلیت مانیتورینگ NiFi را داد. شاخص‌های متنوعی از ماشین مجازی جاوا (JVM) مانند حافظه‌ی Heap، Garbage Collectorها، threadها و نیز مخازن فایل‌های جریان، محتوی و provenance، شاخص‌های کارایی سلامت processorها و سلامت گره‌های کلاستر جمع‌آوری و ارایه می‌شوند. در ادامه لیستی از شاخص‌های کارایی این ابزار ارایه شده است.

Nifi.overview.fa

اطلاعات کلی:

  1. آیا کلاستر است؟
  2. متصل به کلاستر؟
  3. تعداد کل گره‌های کلاستر
  4. تعداد گره‌های متصل به کلاستر
  5. درصد گره‌های متصل به کلاستر
  6. درصد گره‌های قطع شده از کلاستر

شاخص‌های کنترلر:

  1. تعداد Threadهای فعال در کنترلر
  2. تعداد Threadهای Terminate شده در کنترلر
  3. تعداد داده‌های صف‌ها در کنترلر
  4. حجم داده‌های صف‌ها در کنترلر
  5. تعداد Componentهای در حال اجرا
  6. تعداد Componentهای متوقف شده
  7. تعداد Componentهای نامعتبر
  8. تعداد Componentهای غیرفعال
  9. تعداد پورت‌های Remote فعال 
  10. تعداد پورت‌های Remote غیرفعال  
  11. تعداد گروه‌های پروسس به روز شده
  12. تعداد گروه‌های پروسس اصلاح شده
  13. تعداد گروه‌‌های Processهای Stale Version شده
  14. تعداد گروه‌های پروسس اصلاح شده محلی 
  15. تعداد گروه‌های پروسس همزمان نشده

شاخص‌های کلی JVM:

  1. تعداد Threadهای Daemon
  2. تعداد کل Threadها
  3. تعداد کل هسته‌ها
  4. متوسط بار هسته‌ها
  5. حافظه Non Heap استفاده شده
  6. حداکثر حافظه Non-Heap
  7. درصد استفاده از حافظه Non-Heap
  8. حافظه Heap استفاده شده
  9. حداکثر حافظه Heap
  10. درصد استفاده از حافظه Heap

Nifi.kpi.fa

شاخص‌های GC در JVM:

  1. تعداد GCها در یک دوره گذشته
  2. نرخ GC 
  3. زمان GCها در یک دوره گذشته
  4. متوسط زمان GCها

شاخص‌های Flow File Repository:

  1. فضای داده آزاد Flow File Repo
  2. کل فضای داده Flow File Repo
  3. فضای داده استفاده شده Flow File Repo
  4. درصد استفاده از فضای داده Flow File Repo

شاخص‌های Content Repository:

  1. فضای داده آزاد Content Repo
  2. کل فضای داده Content Repo
  3. فضای داده استفاده شده Content Repo
  4. درصد استفاده از فضای داده Content Repo

شاخص‌های Provenance Repository:

  1. فضای داده آزاد Provenance Repo
  2. کل فضای داده Provenance Repo
  3. فضای داده استفاده شده Provenance Repo
  4. درصد استفاده از فضای داده Provenance Repo

شاخص‌های Processorها :

  1. وضعیت اجرای Processor
  2. گره‌های هدف اجرا
  3. تعداد داده‌های ورودی به Processor
  4. اندازه داده‌های ورودی به Processor
  5. اندازه داده‌های خوانده شده توسط Processor
  6. اندازه داده‌های نوشته شده توسط Processor
  7. اندازه داده‌های خروجی از  Processor
  8. تعداد داده‌های ارسال شده از Processor
  9. تعداد وظایف انجام شده در ۵ دقیقه گذشته 
  10. مدت زمان انجام وظایف در ۵ دقیقه گذشته
  11. تعداد Threadهای فعال Processor
  12. تعداد Threadهای  Terminate شده در Processor
  13. متوسط زمان اجرای Taskها در ۵ دقیقه گذشته
  14. نرخ ورود داده به Processor
  15. نرخ خروج داده از Processor
  16. نرخ خواندن داده توسط Processor
  17. نرخ نوشتن داده توسط Processor

شاخص‌های پورت ورودی:

  1. وضعیت اجرای پورت ورودی
  2. تعداد داده‌های ورودی به پورت ورودی
  3. اندازه داده‌های ورودی به پورت ورودی
  4. اندازه داده خروجی از  پورت ورودی
  5. تعداد فایل‌های منتقل شده شده از پورت ورودی
  6. تعداد Threadهای فعال پورت ورودی
  7. نرخ ورود داده به پورت ورودی
  8. نرخ خروج داده از پورت ورودی

شاخص‌های پورت‌های خروجی:

  1. وضعیت اجرای پورت خروجی
  2. تعداد داده‌های ورودی به پورت خروجی
  3. اندازه داده‌های ورودی به پورت خروجی
  4. اندازه داده خروجی از  پورت خروجی
  5. تعداد داده‌های ارسال شده از پورت خروجی
  6. تعداد Threadهای فعال پورت خروجی
  7. نرخ ورود داده به پورت خروجی
  8. نرخ خروج داده از پورت خروجی

گروه‌های Process:

  1. تعداد فایل‌های ورودی به گروه Process
  2. اندازه داده‌های ورودی به گروه Process
  3. اندازه داده‌های خوانده شده توسط گروه Process
  4. اندازه داده‌های نوشته شده توسط گروه Process
  5. اندازه داده‌های خروجی از  گروه Process
  6. تعداد فایل‌های ارسال شده از گروه Process
  7. تعداد Threadهای فعال گروه Process
  8. تعداد Threadهای  Terminate شده در گروه Process
  9. نرخ ورود داده به گروه Process
  10. نرخ خروج داده از گروه Process
  11. نرخ خواندن داده توسط گروه Process
  12. نرخ نوشتن داده توسط گروه Process

Nifi.process Node.view.fa

شاخص‌های کلاستر:

  1. وضعیت  گره
  2. زمان سپری شده از آخرین Heart Beat
  3. دارای نقش Primary
  4. دارای نقش Coordinator
  5. تعداد Threadهای فعال در گره
  6. تعداد داده‌های صف‌ها در گره
  7. حجم داده‌های صف‌ها در گره
  8. زمان روشن شدن گره

Nifi.node.fa

پروتکل‌های ارتباطی:

  • REST
ابزارهای تحلیل داده
NiFiApache SparkApache Hadoop HDFSApache Hadoop YarnKibana
آدرس
تهران، خیابان آزادی، خیابان صادقی (جنب دانشگاه صنعتی شریف)، بن بست دوم، پلاک ۸، طبقه سوم، کد پستی ۱۴۵۸۸۴۶۱۵۵
تمامی حقوق برای شرکت فناوری اطلاعات بهپایا محفوظ است.