flink入门：01 构建简单运行程序

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了flink入门：01 构建简单运行程序，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2690字，纯文字阅读大概需要4分钟。

内容图文

1. mac平台安装flink（默认最新版）

brew install apache-flink

安装结果：

Version 1.7.1, commit ID: 89eafb4

2. jdk版本，我尝试使用了Java8和Java11，都能兼容

3. 在flink的安装目录下，启动flink

目录一般默认在/usr/local/Cellar/apache-flink/1.7.1/ （查找flink安装目录：find / -name flink）

./start-cluster.sh

4. 访问localhost:8081即可进入flink的dashboard，如下所示：

 

5. 使用idea，创建一个maven项目，注册成flink的一个job

5.1. 创建maven项目

 

5.2. 添加文件SocketTextStreamWordCount.java，代码如下：

package com.miaoying.flink;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class SocketTextStreamWordCount {
    public static void main(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.println("USAGE:\nSocketTextStreamWordCount <hostname> <port>");
            return;
        }

        String hostname = args[0];
        Integer port = Integer.parseInt(args[1]);

        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<String> stream = env.socketTextStream(hostname, port);
        SingleOutputStreamOperator<Tuple2<String, Integer>> sum = stream.flatMap(new LineSplitter())
                .keyBy(0)
                .sum(1);
        sum.print();
        env.execute("Java WordCount from SocketTextStream Excample");
    }

    public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {

        @Override
        public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) {
            String[] tokens = s.toLowerCase().split("\\W+");
            for (String token : tokens) {
                if (token.length() > 0) {
                    collector.collect(new Tuple2<String, Integer>(token, 1));
                }
            }
        }
    }
}

5.3. 进入项目工程目录，打成jar包：

mvn clean package -Dmaven.skip.test=true

5.4. 打开terminal，开启监听端口 9000

nc -l 9000

5.5. 进入flink安装目录bin下执行以下命令：

flink run -c com.miaoying.flink.SocketTextStreamWordCount /Users/miaoying/Documents/program/flink/target/original-flink01-1.0-SNAPSHOT.jar 127.0.0.1 9000

输出：

Starting execution of program

5.6. 在dashboard的running jobs中可以看到刚刚启动的job，如下图所示：

 

5.7. 可以在nc监听端口中随意输入内容，比如123

5.8. 然后可以去flink的安装目录下查看日志信息，/usr/local/Cellar/apache-flink/1.7.1/libexec/log目录下执行：

tail -f flink-miaoying-taskexecutor-0-localhost.out

如下所示：

 

本文flink程序简单介绍就此结束。

 

 

学习资源主要来自：

https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/batch/examples.html#running-an-example

http://www.54tianzhisheng.cn/2018/09/18/flink-install

 

内容总结

以上是互联网集市为您收集整理的flink入门：01 构建简单运行程序全部内容，希望文章能够帮你解决flink入门：01 构建简单运行程序所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---