嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 2 元微信扫码支付:2 元
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
《titan 数据运营系统》是一款分析用户在APP上的行为的系统,它在Web端使用了springboot 和bootstrap框架技术,数据库系统为Mysql 5.47;在数据分析方面,使用flume和kafka传输数据hive构建数据仓库,spark进行数据分析,atlas进行元数据管理,azkaban进行任务调度。在该系统上,用户可以使用该系统查看该app的活跃数、新增数、留存数、终端属性等各方面的指标。
T01代码目录
Azkaban定时任务代码:
顶级目录:azkaban任务
|--jobs 包含具体任务配置文件的目录
| |--*.job 对应每个定时任务的单独文件
|--job.zip 可以直接上传到Azkaban调度平台的打包后的程序。
Hive数仓代码:
顶级目录:hive建表语句
|-- hiveSql 包含每个数仓表对应单独的sql语句
| |--ads 包含ads层数仓表的建表sql代码文件的目录
| |--dwd 包含dwd层数仓表的建表sql代码文件的目录
| |--dws 包含dws层数仓表的建表sql代码文件的目录
| |--ods 包含ods层数仓表的建表sql代码文件的目录
| | |--*.sql 对应每个数仓表的建表语句sql
|--hive.sql 集合所需的数仓全部表的sql文件,用于部署。
Mysql数据库代码:
顶级目录:mysql建表语句
|--titan.sql 利用navycat工具自数据库中导出的sql文件。包含数据库结构、表结构的所有信息,可用于部署。
spark任务(分析、迁移)代码:
顶级目录:spark任务代码
|--titanSpark-1.0-SNAPSHOT.jar 打包后的jar文件,可以直接用于部署。
|--tianSpark spark任务源代码
|--src/main/resource 资源文件夹,包括各种配置文件。
|-- src/main/scala 源代码文件
| |-- cn/edu/neu/titan/titanSpark/common 公用部分包
| | |--conf 配置管理包
| | |--constan 常量管理包
| | |--utils 工具类包
| |-- cn/edu/neu/titan/titanSpark/analysis 分析部分顶级包
| | |--base 基础表分析任务实现包
| | |--flow 流量表分析任务实现包
| | |--retention 留存表分析任务实现表
| | |--dim 维度表初始化包
| | |--apl 其他分析任务实现包
| | | |--app 执行将多个任务按依赖关系串联形成的粗粒度的任务的对象包
| | | |--bean 存放封装业务数据的案例类
| | | |--function 其中每一个对象对应每一个定时任务
| | | |--udf 存放spark-sql中使用的自定义函数(UDAF、UDTF)
| |-- cn/edu/neu/titan/titanSpark/migrantion 迁移部分顶级包
| | |--baseAnalysis 包含基本统计分析结果展示表的迁移任务
| | |--participation 包含参与度分析结果展示表的迁移任务
| | |--retention 包含留存分析结果展示表的迁移任务
| | |--terminal 包含终端属性分析结果展示表的迁移任务
| | | |--app 同analysis包内app
| | | |--function 同analysis包内function
Web项目代码:
顶级目录:web代码
|-- titanApp-0.0.1-SNAPSHOT.jar 打包后的jar文件,可以直接用于部署
|-- titanApp.zip 压缩为zip格式的源代码
|--src\main\java\edu\neu\titan\titanApp
| |--controller 控制器包
| |--service 业务逻辑包
| |--impl service实现包
| |---dao 数据库访问包
| |--impl dao实现包
| |--sql sql语句包
| |--common 公用模块包
| | |--beans 业务对象包
| | |--utils 工具包
| | |--constant 常量包
| | |--sql 数据库访问包
|-- src\main\resources\static
| |--src\assets 原生资源包
| |--libs 官方标准库
| |--extra-libs 额外库 模板提供
| |--images 图片资源
| |--scss 保存scss文件
|--src\material 保存页面html的包
|--dist
|--js js文件包
| |--myApp 自编写的与每个页面对应的js文件
| | |--common JS公共模块,存放工具js文件
| | |--channel 渠道分析模块对应的js包
| | |--overall概况模块对应的js包
| | |--retention 留存分析模块对应的js包
| | |--participation参与度分析模块对应的js包
| | |--terminal终端分析模块对应的js包
| | |--userAnalyse基础用户分析模块对应的js包
|--css css文件包(根据需求进行了在提供的基础上进行了一定修改)
模拟数据生成器:
顶级目录:模拟数据生成代码
|-- MockDataGenerate 模拟数据生成器源代码
|-- /src/main/java 存放项目的java文件
|--/src/resource 存放模拟数据的配置文件
数据提取代码:
顶级目录:数据提取--flume配置文件
|-- *.properties flume启动配置文件