Spark实战大数据离线与实时项目 整合大数据生态圈多个框架 | 完结

小七学习网,助您升职加薪,遇问题可联系:客服微信【1099252741】 备注:来自网站

Spark进阶 大数据离线与实时项目实战
整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ,Spark大技术栈的企业级应用
本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目,以功能实现为基础,通过调优及重构功能实现,达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用,拓展同学们的视野。

Spark进阶 大数据离线与实时项目实战
整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ,Spark大技术栈的企业级应用
本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目,以功能实现为基础,通过调优及重构功能实现,达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用,拓展同学们的视野。

〖课程目录〗:

  • 第1章 课程介绍&学习指南 试看2 节 | 12分钟
  • 本章会对这门课程进行说明并进行学习方法介绍。
  • 收起列表
    • 视频:1-1 课程介绍 (11:26)试看
    • 图文:1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南)
  • 第2章 Redis入门 试看12 节 | 126分钟
  • Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度。本章将从Redis特性、应用场景出发,到Redis的基础命令,再到Redis的常用数据类型实操,最后通过Java API来操作Redis,为后续实时处理项目打下坚实的基础…
  • 收起列表
    • 视频:2-1 课程目录 (02:44)
    • 视频:2-2 Redis概述 (10:06)
    • 视频:2-3 Redis特性 (10:14)
    • 视频:2-4 Redis应用场景 (06:50)
    • 视频:2-5 Redis部署&服务启停&客户端连接 (17:09)
    • 视频:2-6 Redis多数据库特性 (07:04)试看
    • 视频:2-7 Redis基础命令的使用 (09:35)
    • 视频:2-8 Redis数据类型之string (15:14)
    • 视频:2-9 Redis数据类型之list (17:39)
    • 视频:2-10 Redis基本数据类型之set (13:53)
    • 视频:2-11 使用Jedis对Redis进行操作 (09:55)
    • 视频:2-12 Redis工具类开发 (04:54)
  • 第3章 HBase入门20 节 | 142分钟
  • HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。本章将从HBase是什么、有哪些特点出发,到HBase环境部署,到HBase的数据模型,到HBase的操作(命令行&API),为后续离线处理项目的数据存储以及查询打下坚实的基础。…
  • 收起列表
    • 视频:3-1 数据存储现状 (07:26)
    • 视频:3-2 HBase是什么 (05:58)
    • 视频:3-3 HBase在生态圈中的位置以及列式存储带来的好处 (07:49)
    • 视频:3-4 HBase的特点.mp4 (05:23)
    • 视频:3-5 HBase vs RDBMS vs HDFS.mp4 (05:15)
    • 视频:3-6 HBase的优势 (02:58)
    • 视频:3-7 HBase数据模型 (09:47)
    • 视频:3-8 JDK环境搭建 (04:19)
    • 视频:3-9 Hadoop环境部署(详解一个常见的错误解决方案) (14:41)
    • 视频:3-10 ZooKeeper环境部署 (03:32)
    • 视频:3-11 HBase环境部署 (09:01)
    • 视频:3-12 HBase shell DDL操作 (06:28)
    • 视频:3-13 HBase shell DML操作 (09:48)
    • 视频:3-14 HBase API编程之开发前置准备工作 (10:31)
    • 视频:3-15 HBase API编程之创建表以及查询表和所有列族 (07:32)
    • 视频:3-16 HBase API编程之添加和修改记录 (07:41)
    • 视频:3-17 HBase API编程之通过RowKey获取值 (05:47)
    • 视频:3-18 HBase API编程之Scan (08:39)
    • 视频:3-19 HBase API编程之Filter (06:09)
    • 视频:3-20 HBase API编程之总结 (02:27)
  • 第4章 离线项目实战V1 试看22 节 | 182分钟
  • 本章节讲解基于Spark和HBase的离线综合项目实战,从多个框架的整合出发,到使用Spark进行ETL处理然后数据落地到HBase中涉及到的传参、HBase Rowkey的设计,再到性能的初步调优,最后使用Spark整合HBase进行数据的统计分析。本章是基于Spark进行离线处理的重点,务必掌握。…
  • 收起列表
    • 视频:4-1 课程目录 (03:03)
    • 视频:4-2 项目背景 (09:31)
    • 视频:4-3 项目处理流程.mp4 (11:03)
    • 视频:4-4 项目离线和实时架构图 (12:01)
    • 视频:4-5 明确架构图中每个步骤使用的技术以及职责所在 (06:32)试看
    • 视频:4-6 项目指标需求 (03:57)
    • 视频:4-7 功能开发之UserAgent解析(掌握如何获取技能) (16:46)
    • 视频:4-8 功能开发之IP解析思路 (02:12)
    • 视频:4-9 功能开发之Spark和HBase依赖整合 (03:39)
    • 视频:4-10 开发环境依赖使用说明 (09:16)
    • 视频:4-11 功能开发之解析日志成DataFrame并为DataFrame添加字段信息 (08:32)
    • 视频:4-12 功能开发之将DF内容转成HBase要存储的列 (15:03)
    • 视频:4-13 功能开发之整体ETL流程详解及如何传参设计 (10:20)
    • 视频:4-14 功能开发之创建HBase表 (13:54)
    • 视频:4-15 功能开发之HBase Rowkey设计_1 (10:07)
    • 视频:4-16 功能开发之完成ETL数据到HBase落地的全过程 (09:10)
    • 视频:4-17 功能开发之完成第一个指标的统计分析 (19:10)
    • 视频:4-18 功能开发之完成第二个指标的统计分析 (03:33)
    • 视频:4-19 性能优化之缓存的使用 (04:13)
    • 视频:4-20 功能开发之统计功能使用DataFrame API以及SQL API来完成 (06:33)
    • 视频:4-21 本章小结 (02:29)
    • 作业:4-22 【讨论题】关于Spark RDD核心算子的思考
  • 第5章 离线项目实战优化11 节 | 109分钟
  • 本章节将基于前面一个章节的功能实现进行进一步的优化,如何将在需求功能实现的基础之上,进行调优,使得在生产上的执行效率更高。本章将是提升自身综合实力的关键部分,务必掌握。
  • 收起列表
    • 视频:5-1 课程目录 (02:15)
    • 视频:5-2 Spark on YARN (12:02)
    • 视频:5-3 Linux时间获取 (04:13)
    • 视频:5-4 shell封装Spark作业提交脚本 (23:27)
    • 视频:5-5 将统计结果写入到MySQL中 (15:19)
    • 视频:5-6 统计结果写入到MySQL调优 (04:06)
    • 视频:5-7 Spark ETL到HBase优化之禁用WAL (18:29)
    • 视频:5-8 Spark ETL到HBase的HFile思路 (03:49)
    • 视频:5-9 Spark产生HFile文件格式准备工作 (10:55)
    • 视频:5-10 Spark产生HFile整个流程实现并总结 (14:06)
    • 作业:5-11 【讨论题】Spark OOM问题
  • 第6章 实时项目实战15 节 | 103分钟
  • 本章节讲解基于Spark和Redis的实时综合项目实战,从Spark Streaming整合Kafka对接出发,如何实现需求的功能以及如何对代码进行重构使得执行效率更好,掌握Redis在项目实战中的数据类型选型,以及如何将SparkStreaming处理完的数据写入到Redis中去。…
  • 收起列表
    • 视频:6-1 课程目录 (01:58)
    • 视频:6-2 项目背景 (02:31)
    • 视频:6-3 项目架构及处理流程 (05:01)
    • 视频:6-4 项目需求 (02:43)
    • 视频:6-5 开发环境准备及参数配置统一管理 (11:46)
    • 视频:6-6 Kafka部署及测试 (05:45)
    • 视频:6-7 Mock数据 (08:34)
    • 视频:6-8 发送数据到Kafka (12:56)
    • 视频:6-9 SparkStreaming对接Kafka数据 (06:18)
    • 视频:6-10 功能实现之每天的粒度统计..1 (15:54)
    • 视频:6-11 功能开发之调优 (04:36)
    • 视频:6-12 功能实现小结 (03:37)
    • 视频:6-13 功能实现之每小时统计及代码重构 (12:54)
    • 视频:6-14 SparkStreaming对接Kafka offset管理 (07:57)
    • 作业:6-15 【讨论题】SparkStreaming对接Kafka数据在项
  • 第7章 初识Alluxio13 节 | 108分钟
  • Alluxio是一个以内存为中心的虚拟分布式存储系统,统一数据访问和桥梁的计算框架和底层存储系统。应用程序只需要Alluxio就可以把访问存储在任何底层存储系统的数据连接。本章节将从Alluxio为我们带来的好处出发,再到Alluxio如何整合Hadoop以及Spark进行实操,并分享一些Alluxio在大公司中的使用案例。…
  • 收起列表
    • 视频:7-1 课程目录 (02:05)
    • 视频:7-2 概述 (08:41)
    • 视频:7-3 Spark应用存在的问题分析 (08:39)
    • 视频:7-4 Alluxio能为我们带来什么 (08:05)
    • 视频:7-5 Alluxio特点 (05:46)
    • 视频:7-6 在Spark实战项目中引入Alluxio (07:28)
    • 视频:7-7 Alluxio部署 (11:29)
    • 视频:7-8 Alluxio文件系统命令行操作 (09:24)
    • 视频:7-9 Alluxio整合HDFS使用 (08:15)
    • 视频:7-10 Alluxio整合MapReduce使用 (08:07)
    • 视频:7-11 Alluxio整合Spark使用 (06:29)
    • 视频:7-12 Alluxio案例分享之在百度的使用 (11:36)
    • 视频:7-13 Alluxio案例分享之在去哪儿的应用 (11:52)
  • 第8章 Spark优化11 节 | 76分钟
  • 本章节将从Spark在生产上的最佳实践出发,和大家分享Spark的常用优化策略。
  • 收起列表
    • 视频:8-1 课程目录 (04:26)
    • 视频:8-2 调优之资源设置 (17:27)
    • 视频:8-3 调优之算子的合理选择 (09:47)
    • 视频:8-4 扩展之自定义排序一 (08:01)
    • 视频:8-5 扩展之自定义排序二(附带经典面试题) (07:14)
    • 视频:8-6 扩展之自定义排序(隐式转换) (04:27)
    • 视频:8-7 Spark Streaming调优之Kafka限速 (07:30)
    • 视频:8-8 Spark Streaming对接Kafka能真正做到仅消费一次吗 (03:29)
    • 视频:8-9 调优之序列化 (05:05)
    • 视频:8-10 调优之广播变量 (07:36)
    • 作业:8-11 【讨论题】数据倾斜的思考
  • 第9章 (讨论群内直播内容分享)基于Spark定制ETL框架6 节 | 46分钟
  • 了解Pipeline的处理方法,基于Spark外部数据源定制Spark ETL框架的思路及使用
  • 收起列表
    • 视频:9-1 Data Pipeline_x264 (06:19)
    • 视频:9-2 ETL中可能会遇到的问题_x264 (05:38)
    • 视频:9-3 (打标记处,3处听不清楚) Spark SQL DataSource API_x264 (06:40)
    • 视频:9-4 使用Spark SQL处理json数据_x264 (10:26)
    • 视频:9-5 基于Spark ETL框架的设计 (09:19)
    • 视频:9-6 基于Spark ETL框架的使用_x264 (06:45)
  • 第10章 (讨论群内直播内容分享)Spark3新特性6 节 | 47分钟
  • Spark3是一个里程碑版的版本,其中包含很多新的特性,本次直播中主要带大家知晓新特性有哪些,以及讲解动态分区裁剪、外部数据源V2、自适应查询执行等相关知识。
  • 收起列表
    • 视频:10-1 Spark概述 (15:30)
    • 视频:10-2 Spark3.x新特性 (05:13)
    • 视频:10-3 DataSource API V2 (09:51)
    • 视频:10-4 动态分区裁剪 (06:34)
    • 视频:10-5 自适应查询执行 (08:57)
    • 作业:10-6 【讨论题】简历项目问题

〖视频截图〗:

Spark进阶 大数据离线与实时项目实战

Spark进阶 大数据离线与实时项目实战
免责声明: 1、本站信息来自网络,版权争议与本站无关 2、本站所有主题由该帖子作者发表,该帖子作者与本站享有帖子相关版权 3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和本站的同意 4、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责 5、用户所发布的一切软件的解密分析文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。 6、您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。 7、请支持正版软件、得到更好的正版服务。 8、如有侵权请立即告知本站(邮箱:1099252741@qq.com,备用微信:1099252741),本站将及时予与删除 9、本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章和视频仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。
(0)
上一篇 2022年6月19日 上午11:18
下一篇 2022年6月19日 上午11:18

小七学习网,助您升职加薪,遇问题可联系:客服微信【1099252741】 备注:来自网站

相关推荐

  • 高并发/高性能 Go语言开发企业级抽奖项目 | 完结

    高并发&高性能 Go语言开发企业级抽奖项目
    攻克业务、技术重点难点,开发设计高性能、高并发、灵活、可靠的服务系统
    本课程先为大家剖析多种抽奖活动的共性和特性,再设计和开发抽奖大转盘系统的后台和接口。步步优化,以及后续的策略对比,通过压力测试,直观的了解不同的设置导致的的性能差异。对系统的性能、并发等方面的理解迅速提升,达到中高级工程师的水平!

    2022年6月19日
    255
  • Vite 从入门到精通,玩转新时代前端构建法则 | 完结

    行业抢先推出的系统实战课,尽早掌握下一代前端核心工具

    Vite 因为其跨前端框架的能力和极其优越的性能,被称为下一代前端构建工具。如果你想在未来几年有更好的发展空间,那么最好尽早学会 Vite。 我们将从如何配置使用入手,深入到Vite的场景、插件以及源码,帮助大家系统掌握 Vite,全面提升对前端构建的认知,更能自行构建项目,为进阶前端架构师打下坚实的基础。

    2022年6月19日
    205
  • 微信小程序电商实战 从前端到后端的全流程精讲 | 完结

    微信小程序电商实战(前后端分离架构)
    教你打造iOS、Android,Web多端适配的服务端标准API
    通过开发一个已上线的小程序商城全栈应用,学会如何打造iOS,Android,Web多端适配的服务端标准API,掌握三端分离开发方式,理解现代Web的基本架构思想

    2022年6月19日
    479
  • 一课掌握Kotlin 突破开发语言瓶颈 | 完结

    新版Kotlin从入门到精通
    紧跟一线企业标准 抓住Kotlin语言上升期的发展红利
    Kotlin在2019年被确立为Android首选开发语言,一些大厂也对Kotlin语言青睐有加。此次课程以Kotlin1.3.X版本为基础,带你构建Kotlin知识体系。无论对Android开发还是后端开发工程师,都是提升求职砝码的上佳之选。

    2022年6月19日
    317
  • 基于 Flutter 3.x 实战跨平台混合开发 | 更新至7章

    Flutter 3已发布,跨平台支持性更好。本课程会手把手教你用简单、高效且通用的方式,将原生项目迁移成一个Flutter/原生混合开发的项目,从双平台开发转变为跨平台开发,大大提高项目开发效率。 学好 Flutter,它的灵活、高效,将在你的工作实践中显现极大威力。

    2022年6月19日
    332
  • Scrapy打造搜索引擎(新版) 畅销3年的Python分布式爬虫课程 | 完结

    未来是什么时代?是数据时代!数据分析服务、互联网金融,数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做,而爬虫正是快速获取数据最重要的方式,相比其它语言,Python爬虫更简单、高效。

    2022年6月19日
    339
  • React16组件化+测试+全流程 实战在线账本项目 | 完结

    React16组件化+测试+全流程 实战“在线账本”项目
    从设计图到上线,精通组件化思维和组件测试,掌握大厂的开发模式和流程
    本门课以”在线账本”为实战项目,以 ‘React理念’为指导思想,让大家从头到尾的实践一个项目是怎样从设计图到最终的线上产品。课程将一步一步带你从设计图出发,到组件拆分,组合,状态分析,数据流分析,组件测试、页面整合,再到搭建 Mock Server,对接后端接口,实现前后端分离开发,最终到部署上线。由浅入深的学习 React 的实际应用的开发模式和流程。

    2022年6月19日
    214
  • Shell 高阶开发实战,轻松应对集群化,分布式环境 | 更新至7章

    轻松应对集群化、分布式环境,一站式提升 Shell 开发水平!
    这是一门专为开发、测试及运维人员设计的 Shell 进阶实战课,结合讲师多年丰富的集群、分布式等复杂场景实战经验,带你系统掌握 Shell 高阶技能,让你能够轻松解决企业实际遇到的 Shell 相关开发与运维难题,早日成为更优秀的刚需人才!

    2022年6月19日
    282
  • Selenium3+Pytest+Allure 全流程实战自动化测试 | 完结

    不会自动化的测试是没有未来的!本课程以时下主流的测试框架Selenium3+Pytest+Allure,手把手带你实践自动化测试全流程工作,体验自动化测试的畅快,大大提升个人效率。

    2022年9月20日
    277
  • 遇问题可联系 / 客服微信【1099252741】
  • Gradle3.0自动化项目构建技术精讲+实战 | 完结

    Gradle3.0自动化项目构建技术精讲+企业级案例实操
    大型公司项目主流技术 / 新一代构建工具 / 互联网公司面试必考点
    Gradle已全面运用于各大公司的 Android,Java等工程构建中,也是大型互联网公司面试的必考点。本课程将通过多个企业级实战案例,让你完整掌握Gradle,高效使用Gradle进行构建脚本的编写,解决构建过程中遇到的大部分难题。

    2022年6月19日
    299