如何通过 API 访问 Hadoop 计数器值?

How to access Hadoop counters values via API?(如何通过 API 访问 Hadoop 计数器值?)
本文介绍了如何通过 API 访问 Hadoop 计数器值?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着跟版网的小编来一起学习吧!

问题描述

限时送ChatGPT账号..

在 Hadoop 中,我们可以在 map/reduce 任务中增加计数器,如下所示:

In Hadoop we can increment counter in map/reduce task, it looks like this:

...
context.getCounter(MyCountersEnum.SomeCounter).increment(1);
...

你可以在日志中找到它们的值.

Than you can find their value in log.

作业完成后如何从代码中访问它们?

How do you access them from code after job completes?

什么是读取计数器值的 Hadoop API?

What is Hadoop API to read counter value?

推荐答案

我刚刚找到了答案 这里.

您需要一个作业对象来访问计数器:

You need a job object to access the counters:

Counters counters = job.getCounters();
Counter counter = counters.findCounter(MyCountersEnum.SomeCounter);
System.out.println(counter.getDisplayName() + ": " + counter.getValue());

这篇关于如何通过 API 访问 Hadoop 计数器值?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持跟版网!

本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益,请联系我们,我们会在确认后第一时间进行删除!

相关文档推荐

How to send data to COM PORT using JAVA?(如何使用 JAVA 向 COM PORT 发送数据?)
How to make a report page direction to change to quot;rtlquot;?(如何使报表页面方向更改为“rtl?)
Use cyrillic .properties file in eclipse project(在 Eclipse 项目中使用西里尔文 .properties 文件)
Is there any way to detect an RTL language in Java?(有没有办法在 Java 中检测 RTL 语言?)
How to load resource bundle messages from DB in Java?(如何在 Java 中从 DB 加载资源包消息?)
How do I change the default locale settings in Java to make them consistent?(如何更改 Java 中的默认语言环境设置以使其保持一致?)