大数据需求分析

学习思路：

1.需求是什么？

2.方案是什么？

3.逻辑是什么？

4.开发中的问题？怎么解决？

整体流量概况：

1.累计用户量

2.每日新增用户量

3.每日的访问人数、次数

4.每日的全部访问人均次数、时长和深度

5.计算用户平均会话数

6.计算当日访问IP数

7.新老用户访问占比

8.每日新老用户分布情况

9.每日新老用户在各个省下的分布

10.每个页面访问次数分布

11.每个版本的使用情况

12.访问终端（app、web、小程序）分布情况

用户获取：

新增用户量=自然流量+渠道流量

渠道新增用户量

各个渠道新用户人均使用时长

各个渠道的新用户转化率

异常流量分析

用户特征:

按地区（省市区）、性别、操作系统、注册时间、浏览器（Chrome、IE、FireFox）

版本的访问的流量分析

不同版本的人均使用时长

各个版本留存

事件转化：

新老用户事件发生次数、人数、人均次数

事件次数分段分布（0~1）（1~10）（10~50）

技术选型：

1.数据量大小

2.业务需求

3.行业内的经验

4.技术成熟度

5.开发维护成本

6.总成本预算

组件版本选择：

1.不要选择最新的版本

2.最新版本半年前左右的稳定版

3. 3.1.1 3.1.2 3.2

物理机：

128G 20c 40T 8THHD 2TSSD 4W

人、电、物理机：5w

集群服务分配：

1.负载均衡

2.保证服务依赖关系尽可能在同一台节点上

数仓部署和理解,hive管理