flume与java交互

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了flume与java交互，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1769字，纯文字阅读大概需要3分钟。

内容图文

在java工程中创建项目，内容如下：

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class InterceptorDemo implements Interceptor {

    private List<Event> addHeaderEvents;

    @Override
    public void initialize() {
        addHeaderEvents = new ArrayList<>();
    }

    @Override
    public Event intercept(Event event) {
        byte[] body = event.getBody();
        Map<String, String> headers = event.getHeaders();
        String bodyStr = new String(body);
        if (bodyStr.contains("kb07")) {
            headers.put("type", "kb07");
        } else {
            headers.put("type", "kb09");
        }
        return event;
    }

    @Override
    public List<Event> intercept(List<Event> events) {
        addHeaderEvents.clear();
        for (Event event: events)
            addHeaderEvents.add(intercept(event));
        return addHeaderEvents;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {
        @Override
        public Interceptor build() {
            return new InterceptorDemo();
        }

        @Override
        public void configure(Context context) {

        }
    }
}

点击右侧的maven，先双击clean，再双击package打jar包

之后将jar包导入虚拟机，路径如下
/opt/flume160/lib
在虚拟机中的flume目录下执行命令：

flume-ng agent --name ictdemo2 --conf ./conf/ --conf-file ./conf/jobkb09/netcat-flume-interceptor2-hdfs.conf -Dflume.root.logger=INFO,console

在虚拟机的另一个窗口执行以下命令：telnet localhost 7777

输入
aaaaaaakb09bbbbbbbbbbbbbbbbbbb
bbbbbbbbbkb07cccccccccccccccc
ccccccccckb09cddddddddddddddddd
aaaaaaakb09ddddddddddddddd
bbbbbbbbbkb07rrrrrrrrrrrrrrrrrrr
ccccccccckb092222222222222222
aaaaaaakb0944444444444444444
bbbbbbbbbkb07666666666666666666
ccccccccckb09sssssssssssssssss
aaaaaaakb09wwwwwwwwwwwwww
bbbbbbbbbkb07sssssssssssssss
ccccccccckb09mmmmmmmmmmmmm
浏览器打开192.168.134.104:50070，生成如下文件

内容总结

以上是互联网集市为您收集整理的flume与java交互全部内容，希望文章能够帮你解决flume与java交互所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端