背景

  随着云计算和大数据的兴起和发展,云计算已经成为处理大数据很重要的一个组成部分,伴随着数据量的几何增长,传统的数据挖掘平台系统架构模式已经远远不能适应现代数据挖掘的建设要求。DataSense就是建立在数据立方基础上针对海量的数据的集中计算与挖掘,建立一套具有高可靠、可在线弹性伸缩,提供数据内在关系和价值的数据挖掘计算平台。为业务决策提供便捷、快速和高效的平台支撑。



产品介绍

  DataSense是南京网上真人娱乐平台科技股份有限公司自主研发的分布式数据挖掘平台。具有高处理性能和高可靠性,可不间断接受任务。

  系统实现了大多数主流的数据挖掘功能,包括属性选择、分类预测、回归预测、聚类分析、关联分析、时间序列分析等6大类。为适应不同业务数据的特点,对同一个数据挖掘功能,通过多种算法进行实现,例如“分类预测”有决策树、分类回归树、支撑向量机分类、神经网络分类、贝叶斯网络、朴素贝叶斯、逻辑回归、分类组合模型等算法可供用户选用,共计包含了27个数据挖掘算法。



系统基本组成


DataSense分布式数据挖掘平台总体架构


  DataSense数据挖掘系统分为前台管理平台以及后台数据挖掘平台两部分组成。其总体架构如下图:

总体架构图


  其中采用了数据立方作为对系统海量数据的底层存储平台,提供了高效的ETL工具,能够对海量数据进行高效快速的清洗。前端WEB部分方便用户管理和使用系统,对于数据挖掘的结果提供了饼图、散点图、折线图、面积图、柱状图、雷达图、线箱图、分布图、多折线图、帕累托图等10类可视化手段,利于用户对数据和模型的观察和理解。


DataSense数据挖掘核心模块系统架构如下图所示:


DataSense系统架构图


DataSense系统架构图

分布式数据挖掘引擎
管理本机上同时运行的多个计算任务,协调资源分配。
分布式挖掘运行时
单独的数据挖掘程序,负责对切分好的很小单元任务进行处理。
DataSense分布式数据挖掘管理引擎
提供对数据挖掘应用的API,同时负责对整个数据挖掘任务的调度管理。
分布式数据挖掘算法库
提供对数据挖掘常用的基本挖掘算法,同时用户可以自己任意添加新的挖掘算法。

分布式数据挖掘可靠性设计


  DataSense采用了JobKeeper作为整个系统的可靠性调度平台。调度平台提供了一套基于Web的管理化界面,可以实时的观察各个处理节点的任务运行状态,以及任务列表的分配情况,机器的负载情况等。用户在管理系统界面上可以完成所有的工作,如新任务的添加,任务的手动调度以及集群日志的查看与分析等。


JobKeeper任务分发流程图


JobKeeper任务分发流程图

  分布式机器任务处理节点和管理节点之间维护一个心跳时间,实时向管理节点汇报任务处理信息,同时,任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表,并和 本机正在处理的任务列表进行比对,完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系,那么管理节点将会根据 各机器的负载情况,将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。



产品优势和特点

  大数据挖掘平台是一套软件与硬件相结合的系统,其中专有技术和软件是高附加值部分,可以广泛应用于需要海量数据挖掘的应用场合(如广电、电信、互联网、银行等领域)。该系统相比传统数据挖掘系统有如下技术优势:


高度可靠


  大数据挖掘系统采用云架构,底层数据被分块存储在不同的存储节点上,数据采用先进的1:1容错机制进行容错,可在任意损坏一个存储服务器节点的情况下实现数据完整可靠,系统对外存储访问服务不间断。

  云存储的管理节点采用了主备双机镜像热备的高可用机制,在主管理节点出现故障时,备管理节点自动接替主管理节点的工作,成为新的主管理节点,待故障节点修复并重启服务后,它则成为新的备管理节点,保障系统的7×24小时不间断服务。

  数据挖掘采用了先进任务调度框架JobKeeper,当出现故障节点后,JobKeeper会自动转移处理任务,保证数据挖掘过程的完整性和正确性。


优异性能


  数据挖掘采用分布式并行计算技术,将海量数据的计算处理转化为各个存储节点上并行读写和计算,这样减少了网络的带宽使用,提高了数据的处理速度。同时随着处理节点数目的增多,整个系统的计算性能将呈线性增长。

  同时,JobKeeper采用负载均衡技术,自动均衡各服务器负载,使得各处理节点的性能调节到很高,实现资源优化配置。


海量存储


  数据挖掘平台所依赖的数据存储层数据立方容量仅受限于卷管理服务器内存,可支撑的容量接近无限,经推算,理论容量为1024×1024×1024 PB (1G个PB容量)。这样为超大规模的数据挖掘提供了数据支撑。


在线伸缩


  大数据挖掘系统扩容非常方便,支持不停止服务的情况下,动态加入新的处理节点,无需任何操作,即实现扩容;同时,无需人为干预,也可以摘下任意节点,系统自动缩小规模而不影响挖掘业务,运行在此节点上的计算将会重新运行到其他节点上。


通用易用


  大数据挖掘系统提供专用的API接口,供开发人员调用。


智能管理


  提供基于WEB的管理控制平台,所有的管理工作均由大数据挖掘管理模块自动完成,使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台,可以对数据立方中的数据源进行挖掘业务,同时提供挖掘结果的可视化查询界面,可以方面的查看挖掘结果,为业务决策做支持。此外,用户还可以通过监控界面可以清楚地了解到每一个处理节点的负载、存储和运行情况。


快速高效


  大数据挖掘平台算法库采用了分布式并行算法能够在较短的时间内完整各种算法,同时随着机器的增加系统性能线性增长。



平台界面介绍


DataSense平台主页


DataSense平台主页

  DataSense分布式数据挖掘平台提供对集群机器的负载监控,磁盘监控等基本管理功能。用户可以快速方便的监控整个集群的运行状态。


数据导入

  负责对数据的导入,支持数据库,文件系统两种数据抽取方式。将数据抽取保存到数据立方。


点击查看大图


元数据信息管理

  对数据本身结构信息管理,提供新建、删除、修改表等操作。


点击查看大图

点击查看大图


数据管理

  可以查询不同表的数据信息,可以导出原始数据文件。


点击查看大图


任务管理

  由于算法的输入规模的不同,部分数据挖掘业务可能运行时间过长,系统提供了挖掘任务的查看、管理功能。


点击查看大图


用户管理

  大数据挖掘平台提供了多用户使用,系统管理员可以通过用户信息管理功能实现对系统多用户的管理。


点击查看大图


系统配置

  提供系统平台自身的参数信息管理。


点击查看大图


可视化查询介绍

  系统提供了对于已有数据的可视化查询,用户可以自定义查询逻辑,系统会在后台自动提交查询任务。目前查询支持了标准SQL 60%的查询功能。


点击查看大图


分类算法介绍

  分类算法目前提供了对于数据集的学习、分类的功能。同时用户还可以保存数据训练模型以便决策者或者第三方系统能够在线获取模型,并基于模型进行企业经营行为的决策或计算。分类结束后系统会通过可视化的方式展示系统训练分类后的结果,如下图所示:


点击查看大图

点击查看大图


聚类算法介绍

  聚类分是对未知事物的分类,系统提供了对结构化数据的聚类,用户可以选择不同纬度的聚类。


点击查看大图


  上图为聚类设计页面,用户可以选择数据源,聚类属性,聚类本身的相关属性等信息。


点击查看大图


  聚类完成后,系统通过可视化的查询,目前提供了饼图、散点图、折线图、面积图、柱状图、雷达图、线箱图、分布图、多折线图、帕累托图等10类可视化手段,利于用户对数据和模型的观察和理解。



市场应用



应用范围 应用描述
互联网行业 基于用户行为的智能推荐
移动行业 智能化移动业务的准确推荐
电力行业 海量运营数据的预测,设备负载预测
... ...



更多下载

联系方式    总机:400-8855-360



市场部

区域
销售人员
分 机
手机号
邮 箱
腾讯QQ
项目总监
袁高峰
8008
15051887778
点击这里给我发消息
新疆分公司
任家瑞
8019
13851763165
点击这里给我发消息
北京 安徽 天津 辽宁 黑龙江 吉林
骆梦阳
8052
13952028557
点击这里给我发消息
山东 浙江 四川 广西
杨  剑
8030
18751869256
点击这里给我发消息
内蒙古
何家乐
8031
18616794962
点击这里给我发消息
云南、福建、河北、江西、上海
刘立宏
8034
13815414773
点击这里给我发消息
山西
刘连鹏
8018
18021395113
点击这里给我发消息
海南
左  赛
8033
18017566211
点击这里给我发消息
河南 重庆 湖北 贵州 陕西
王  军
8035
13851877991
点击这里给我发消息
广东
单明月
8056
13770311887
点击这里给我发消息
湖南
张绪文心
8027
18602548008
点击这里给我发消息
青海 甘肃 西藏 宁夏
张 伟
8028
05157345
点击这里给我发消息
新疆
陈鑫磊
15899133730
点击这里给我发消息
王 玮
8054
15077865340
点击这里给我发消息
谢久军
8042
13805153062 
点击这里给我发消息
河南办事处
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
湖北办事处
周俊
(湖北办事处)
 
13995587166
点击这里给我发消息
贵州办事处
汤添智
(贵州办事处)
13602805009
点击这里给我发消息
重庆办事处
曾娟
(重庆办事处)
13628383332
点击这里给我发消息
安徽办事处
曹先操
18905605095
点击这里给我发消息


教育行业代理

区域/行业 代理商 区域/行业 代理商
安徽省教育行业代理 安徽康源物联信息科技有限公司(总代理) 福建教育行业代理 福建东方锐智教育科技有限公司
安徽盛驰信息科技有限公司 甘肃教育行业代理 西北师范大学(兰州微费电子科技有限公司)
广东省教育行业代理 广州松子智能科技服务有限公司 广西教育行业代理 广西国邦志成科技有限公司(总代理)
广州万维视景科技有限公司 广西智慧城市科技有限公司
贵州省教育行业代理 贵州普创大数据科技有限公司(总代理) 广西中蓝信息工程有限公司
内蒙古省教育行业代理 内蒙古万富圣达教育科技有限公司(总代理) 南宁西大思科软件有限责任公司
河北省教育行业代理 河北惠美电子科技有限公司 河南教育行业代理 河南奇酷网络工程有限公司
析牛(北京)科技有限责任公司 郑州枫叶科技有限公司(总代理)
石家庄展思科技有限公司 上海微赢信息科技有限公司
湖北省教育行业代理 武汉飞鸟云科技有限公司 湖南教育行业代理 湖南启云信息科技有限公司
武汉市兴鑫高科技发展有限公司 湖南神州宜达信息技术有限公司
武汉伟福赛思电子有限公司 湖南紫薇垣信息系统有限公司
武汉未来空间科技有限公司 长沙众元网络有限公司
武汉云中点信息科技有限公司 山西教育行业代理 太原太工天宇教育科技有限公司(总代理)
江苏省教育行业代理 南京八星网络科技有限公司 辽宁教育行业代理 辽宁新淞信息技术有限公司(总代理)
南京翼马数控机床有限公司 沈阳稀有金属研究所
无锡微迪艾科技有限公司 沈阳中港石化有限公司
江西省教育行业代理 江西臻宸科技有限公司 浙江教育行业代理 杭州帆若信息科技有限公司
南昌鼎秀信息技术有限公司 浙江掌尊信息科技有限公司(总代理)
陕西省教育行业代理 陕西精测电子仪器有限公司(总代理) 上海教育行业代理 上海秉渡教育科技有限公司
陕西朗益通科技有限公司 上海玖数软件有限公司
西安普飞特科技有限公司 尊虞教育科技(上海)有限公司
山东省教育行业代理 山东利扬大数据科技有限公司 重庆教育行业代理 重庆八城科技有限公司(总代理)
山东今领教育科技有限公司(总代理) 重庆闪易科技有限公司
济南舜意望特管理咨询有限公司 重庆卓合科技有限公司
青岛华星科电子设备有限公司 四川教育行业代理 成都优越教育咨询有限公司(总代理)
北京美国英语语言学院 云南省教育行业代理 云南磐恩科技有限公司


校企合作

校企合作基地 北京华科网上真人娱乐平台科技有限公司
校企合作核心合作伙伴 河南源之点信息技术有限公司
河南省融创教育科技有限公司
济南凰富信息科技有限公司
杭州瑞楠信息技术有限公司
长沙市众元网络技术有限公司
武汉明德云智教育科技有限公司
无锡大云教育科技有限公司


公安行业代理

区域/行业 代理商 联系人 手机号 邮 箱
山东省公安行业代理 山东闻远通信技术有限公司 戴宇 18761674128 [email protected]
山东尊启信息技术有限公司 张为晓 13954141334 [email protected]
山东融御中安信息安全有限公司 赵慧奇 18660862096 [email protected]
海南省公安行业 海南怡盟电子科技有限公司(总代理) 熊桂霞 15298946071 [email protected]
海南阿福企业策划有限公司 黄振福 18789630559 [email protected]
浙江省公安行业代理 杭州联洲科技有限公司 史慧平 18968188988 [email protected]
杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
福建省公安行业代理 杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
贵州省公安行业总代理 北京云教互动科技有限公司贵州分公司 穆俊玲 17311090120
江苏省公安行业代理 徐州麒麟物联网科技有限公司 迟明秋 15862186070 [email protected]
陕西省公安行业总代理 陕西乐享电子科技股份有限公司 张化斌 13909215859 [email protected]
安徽省公安行业总代理 南京点道数据科技有限公司 李天宇 15951823701 [email protected]
河北省公安行业代理 河北惠美电子科技有限公司 张慧 15283231728 [email protected]
重庆市公安行业代理 重庆贵飞科技有限公司 秦龙 18623001736 [email protected]
河南省公安行业代理 河南翰林网络技术开发有限公司 张磊 15617216616 [email protected]
四川省公安行业总代理 成都国策正义文化传媒中心 李斌 18620323772 [email protected]
山西省公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]
内蒙古公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
分享到: 微信 QQ空间 人人网 更多
阅读:17637次


版权所有 © 2011-2019 南京网上真人娱乐平台科技股份有限公司(股票代码:835305), 保留一切权利。(nvacts.com)  
网上真人娱乐平台-专业的云存储、大数据、云计算产品供应商


友情链接:网上棋牌网址  平博88手机官网  大发快三官网  香港赌场网址  钱柜官网手机版  博狗娱乐官网