您的当前位置:首页正文

[Caravel]Airbnb开源数据探查与可视化平台

2024-12-14 来源:东饰资讯网

其中,对于事实表数据量非常小(<5万)的模型,直接保存在MySQL中,供前端分析查询使用;对于数据量中等(>5万,<100万)的模型,默认使用Hive+SparkSQL来查询分析;对于数据量较大(>100万)的模型,在Kylin中建立Cube,供前端分析查询使用;

设计该系统的主要目的一是为了使产品、运营、数据分析同事能快捷方便灵活的管理和分析自己的数据,而不用依赖开发资源;

二是为了减少数据开发人员的临时数据任务,做过数据开发的同学应该深有体会,很多时间都被临时取数给占掉了。


用户数据,在快速迭代中变得至关重要。从早期的没有数据,或只收集用户系统崩溃数据,到现在开发了 Autodesk 自己的基于 Spark 的大数据平台 ADP(Autodesk Data Platform)。数据在 Autodesk 驱动着商业决策,改变着整个公司的运作习惯。

本人工作在 Autodesk Fusion 360 产品线,和团队一起从零开始开发了数据可视化平台 QMetrix。目前 QMetrix 开放平台已经在 Autodesk 内部逐渐发展壮大,正吸引着越来越多的产品线加入我们一起开发,以各种方式展现自己产品的数据做深入的分析。迄今为止 QMetrix 已经直接对接了公司内部和外部的多种数据来源,如 JIRA、TFS、ADP,CER,Git,GA、Denodo、Splunk 等。同时,QMetrix 和旧金山的大数据团队紧密合作,开发开放了更加通用的 V2 平台,并在 V2 统一展现了公司各产品线关键数据,在全球 22 个办公室的大屏幕滚动播放。

这次的分享也涉及 QMetrix 背后的技术架构,等等,大量干货。


显示全文