大数据类课程

【培训对象】

1，系统架构师、系统分析师、高级程序员、资深开发人员。

2，牵涉到大数据处理的数据中心运行、规划、设计负责人。

3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

【培训方式】面授+案例讨论+实战演练

【培训时长】5 天(6 小时/天)

【课程背景】

随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台。Hadoop/Yarn在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。为解决广大系统设计人员深入研究与开发大数据技术的需要，培训中心特在“大数据处理技术-基于Hadoop/Yarn的实战”课程的基础上，针对已有或即将建立Hadoop/Yarn集群，拥有海量数据，需要做用户推荐、产品聚类，信息分类等大数据分析用户，举办“大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘”培训班

【培训目标】

1.全面了解大数据处理技术的相关知识。

2.学习Hadoop/Yarn/Spark的核心数据分析技术

3.深入学习Mahout/MLlib挖掘工具在大数据中的使用。

4.掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

【课程特色】

本课程涉及的主题包括：大数据挖掘及其背景，Mahout和 MLlib大数据挖掘工具，推荐系统及电影推荐案例，分类技术及聚类分析，以及与流挖掘和Docker技术的结合，分析了大数据挖掘前景分析。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题，并介绍了从大数据中挖掘出有价值的信息的关键。

本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动大数据分析挖掘项目开发上升到一个新水平。

【课程设计】

大数据分析挖掘产品培训：

第一讲大数据挖掘及其背景

1)数据挖掘定义

2)Hadoop相关技术

3)大数据挖掘知识点

第二讲 MapReduce/DAG计算模式

1)分布式文件系统DFS

2)MapReduce计算模型介绍

3)使用MR进行算法设计

4)DAG及其算法设计

第三讲 云挖掘工具Mahout/MLib

1)Hadoop中的Mahoutb介绍

2)Spark中的Mahout/MLib介绍

3)推荐系统及其Mahout实现方法

4)信息聚类及其MLlib实现方法

5)分类技术在Mahout/MLib中的实现方法

第四讲 推荐系统及其应用开发

1)一个推荐系统的模型

2)基于内容的推荐

3)协同过滤

4)基于Mahout的电影推荐案例

第五讲 分类技术及其应用

1)分类的定义

2)分类主要算法

3)Mahout分类过程

4)评估指标以及评测

5)贝叶斯算法新闻分类实例

第六讲 聚类技术及其应用

1)聚类的定义

2)聚类的主要算法

3)K-Means、Canopy及其应用示例

4)Fuzzy K-Means、Dirichlet及其应用示例

5)基于MLlib的新闻聚类实例

第七讲 关联规则和相似项发现

1)购物篮模型

2)Apriori算法

3)抄袭文档发现

4)近邻搜索的应用

第八讲 流数据挖掘相关技术

1)流数据挖掘及分析

2)Storm和流数据处理模型

3)流处理中的数据抽样

4)流过滤和Bloom filter

第九讲 云环境下大数据挖掘应用

1)与Hadoop/Yarn集群应用的协作

2)与Docker等其它云工具配合

3)大数据挖掘行业应用展望

返回课程列表