首页标签大数据

#大数据

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

罗强:腾讯新闻如何处理海量商业化数据?

DataFunTalk

DataFun · 运营负责人 (已认证)

导读:随着信息化时代的来临,信息呈现出爆炸式的增长。尤其是在移动互联网的推动下,每天大量信息涌入让人们应接不暇,腾讯新闻客户端的出现,就是以帮助用户寻找有用信息...

1820

中科大徐童:视频人物社交关系图生成与应用

DataFunTalk

DataFun · 运营负责人 (已认证)

导读:在线社交媒体平台的发展,带来了细粒度检索、视频语义摘要等媒体智能服务的巨大需求。现有的视频理解技术缺乏深入的语义线索,结合视频中人物的社交关系才能更完整、...

4530

李阳:京东零售OLAP平台建设和场景实践

DataFunTalk

DataFun · 运营负责人 (已认证)

管控面可以提供高可靠高效可持续运维保障、快速部署小时交付的能力,尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎,管控面就显示得尤其重要...

7020

苗大东:京东基于强化学习的电商搜索排序算法

DataFunTalk

DataFun · 运营负责人 (已认证)

导读:电商场景的搜索排序算法根据用户搜索请求,经过召回、粗排、精排、重排与混排等模块将最终的结果呈现给用户,算法的优化目标是提升用户转化。传统的有监督训练方式,...

6620

【数据分享】全国路网数据分享

地学大数据

今天分享一份全国范围的路网数据,包含高速公路、城市快速路、城市主干道、城市次干道、城市支路、乡村道路、自行车道、人行道路、内部道路、其他共10种道路分类。

1600

客快物流大数据项目(六十八):工作流调度

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

工作流(Workflow),指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是...

9440

客快物流大数据项目(六十六):车辆主题

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

车辆主题主要是统计各个网点、区域、公司的发车情况,反映了区域或者公司的吞吐量及运营状况。

9470

vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

2020labs小助手

vivo · 技术编辑 (已认证)

Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。

8940

客快物流大数据项目(六十七):客户主题

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

客户明细宽表数据需要保存到kudu中,因此在第一次执行客户明细拉宽操作时,客户明细宽表是不存在的,因此需要实现自动判断宽表是否存在,如果不存在则创建

12270

客快物流大数据项目(六十五):仓库主题

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

从2005年开始,网购快递每年以倍增的速度增长。重大节日前是快递爆仓发生的时段。如五一节前夕、国庆节前夕、圣诞节前夕、元旦前夕、春节前夕。新兴的光棍节,网购日,...

14270

数据中台建设(十一):数据中台解决方案参考与未来发展方向

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

纵观IT技术的发展历程,从企业管理系统的简单数据分析到传统企业数据仓库构建报表分析、再到大数据数据仓库构建及数据分析、再到基于数据湖的大数据数仓分析、再到现在的...

14380

数据中台建设(十):数据安全管理

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

在数据中台中所说的数据安全管理,侧重于企业内部的数据安全管理,是狭义的数据安全管理,重点放在大数据平台的安全管理技术手段上。

8540

数据中台建设(九):数据中台资产运营机制

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

企业数据中台搭建完完成之后,如何让数据中台中的数据资产越用越多,越用越活,越用越稳定,这就需要数据中台运营机制。

13060

数据中台建设(八):数据服务体系建设

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

查询分析服务是指输入特定的查询条件,返回该条件下的数据,以API形式供上层应用调用。这里也包含大数据分析能力分析结构的查询,帮助企业数据化运营,分析决策。

9350

数据开发治理平台Wedata之数仓建设实践

张志刚

本案例基于腾讯云一站式开发治理平台Wedata、私有网络VPC、云数据库Mysql和弹性Mapreduce构建了全流程的离线数仓建设流程。通过模拟业务数据的导入...

15240

数字孪生3D可视化智慧风电场项目示例

物联网数据可视化PaaS平台

风力发电作为新兴的绿色能源之一,在全球得到长足的发展,尤其是近十年我国风电快速发展,风机数量急剧增加。与传统火电相比,风电的特点是机组分散、数量多,而如何提高风...

12830

批量ETL任务调度运维平台 TASKCTL 作业互斥与强制依赖

taskctl官方频道

?在上图中,两个作业 GetData1 与 GetData3 按串并关系,本来是可以同时运行的作业,但由于通过 ostr 属性设置相同互斥资源,从而使它们实现互...

6130

用户行为分析模型实践(二)—— 漏斗分析模型

2020labs小助手

vivo · 技术编辑 (已认证)

在《用户行为分析模型实践(一)—— 路径分析模型》中,讲述了基于平台化查询中查询时间短、需要可视化的要求,并结合现有的存储计算资源以及具体需求,我们在实现中将路...

8730

区块链中的全节点与轻量级节点

v-longbatuiguang2

在加密货币中,任何联接到网络的计算机都被称为节点。在区块链中,存在冗余备份现象。也就是说,假定全部节点都需求保存全网的全部生意等数据信息,必然会呈现一些坏处。例...

11850

数据中台建设(七):数据资产管理

Lanson

腾云先锋 · 腾云先锋(TDP)成员 (已认证)

随着企业数据越来越大,企业意识到数据是一种无形的资产,通过对企业各业务线产生的海量数据进行合理管理和有效应用,能盘活并充分释放数据的巨大价值。如果不能对海量数据...

13460

扫码关注云+社区

领取腾讯云代金券


http://www.vxiaotou.com