首页 / 大数据 / 系统架构师(java)和大数据架构师
系统架构师(java)和大数据架构师
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了系统架构师(java)和大数据架构师,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2166字,纯文字阅读大概需要4分钟。
内容图文
![系统架构师(java)和大数据架构师](/upload/InfoBanner/zyjiaocheng/833/b437b586d2fa4a569f6ca7b892ced6c1.jpg)
架构师不是一个职业工种,而是一种能力,而且架构师也分很多种,不同领域的架构师是不一样的.比如互联网架构师和物联网架构师,没有什么可对比的.
架构要考虑什么
1.考虑系统能做什么,不能做什么,就是常说的系统边界
2.确定架构内部的模块与模块之间的关系,以及module与外部是什么关系
3.确定非功能性需要,架构的可扩展性,可用性,可维护性以及安全性
4.架构确定以后要能够指导开发人员根据架构思想去设计和演化,确保开发出来的东西和架构的规划是一致的.
Java系统架构师
- 系统的技术选型以及可行性评估
- 分布式技术框架的把控
- 深入挖掘和分析业务需求,重点模块的设计,方案的评审与技术支持,技术难点攻关,分布式系统技术如何落地,撰写技术方案和系统设计文稿,指导开发人员完成编码工作
- 针对产品性能和架构优化,确保系统的架构质量
- 优秀的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题.
具体可能需要掌握以下内容
- 熟悉*nix,熟练应用shell/python etc.
- 扎实的java基础知识,熟悉IO,多线程以及并发编程
- 熟悉掌握缓存,NoSQL,Netty,kafka等中间件技术
- 对JVM原理有扎实理解,对服务端设计与编程有深入理解,能够进行JVM调优
- 熟悉常见的数据结构,熟悉常用的设计模式,深入理解分布式算法和主流分布式系统,熟悉主流消息队列及其工作原理(sort/index/store/smooth/duplicate removal)
- 有丰富的分布式,高并发,高负载,高可用性系统设计经验,熟悉分布式缓存,消息机制等
大数据架构师
- 针对大数据平台的设计和开发制定数据架构规范,进行核心代码编写
- 针对数据基础架构和数据处理系统进行升级和优化,技术难题攻关,持续提升核心系统性能,保证系统安全高效平稳运行
- 大规模数据实时化,技术容器化,私有云实施技能方案,数据模型规范化等
- 跟踪大数据相关领域技术趋势,竞品的发展以及技术动态
- 精通或熟练掌握大数据生态的技术和产品:Hive,Storm,Flink,Spark,ELK,Kafka,Zookeeper,Yarn,presto,对spark分布式计算的底层原理有深入理解,对复杂系统的性能优化和稳定性有实践经验
- 精通或熟练数据仓库设计,深刻理解MR运行原理和机制,能进行任务执行效率优化,熟悉开源数据交换工具:sqoop,Streamset,kettle,datax etc.
- 善于捕捉业务需要,根据需要规划架构设计,给出相应的解决措施和方法.
- 加分项:数据预测,预警,人工智能,图像识别,语音智能,物联网数据收集,标等.线性计算,神经网络,知识图谱.
二者异同:
异:java系统架构师偏重于分布式,高可用,可并发,容错等.熟练掌握支撑业务的系统架构或工具集
大数据架构师偏重于人工智能,商业智能,数据挖掘,离线,实时等高效率高可用的结构化数据,半结构化数据.熟悉hadoop生态圈子,使用各种模型组件集来解决问题.
同:降本增效,提高效率,创造价值.
内容总结
以上是互联网集市为您收集整理的系统架构师(java)和大数据架构师全部内容,希望文章能够帮你解决系统架构师(java)和大数据架构师所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。