腾讯互联网+

应用场景
  • 大数据分析的数据桥梁

    大数据分析的第一步就是要将各种异构源的异构数据采集到大数据存储计算平台。面对多式多样的异构数据源和异构格式,如MySQL、Oracle的数据库的结构化数据、文本类型的半结构化或非结构化数据等,各种不同的采集策略,包括全量数据、批量数据、实时数据采集,以及离线计算平台、在线计算平台的分发要求,TDbank作为数据桥梁,为大数据的采集和交换提供统一的平台,为数据的接入、传输、分发提供稳定可靠的快车道。

  • 分布式日志收集

    通常业务产生的日志数据分布在不同的服务器上。当业务需要运行在大量服务器时,其分散的日志难以管理,不利于问题的发现与定位。通过在业务服务器上部署数据采集Agent,将分散的日志数据实时采集并发送到TDbank,然后发送给日志分析的离线/在线平台从而简化了日志管理,并使日志分析、问题定位更加容易。

  • 高价值数据可靠传输

    对于一些高价值、高敏感度的数据,比如订单详情、广告计费,交易流水等数据的采集与交换,亟需一个高可靠、高可用的消息中间件,并做到实时采集、可靠的传输和实时分发。TDbank经过多年来各种业务的实际使用,其稳定性、可靠性得到充分的验证,是高价值数据可靠传输的最佳选择。

核心优势
  • 低延时

    海量数据的秒级接入和分拣,确保数据采集交换实时高效。

  • 高灵活

    支持多种异构数据源,支持数据拉取和推送方式;支持多种数据分发方式,离线/在线,支持多路分发;可扩展易适配的数据处理与消息互通能力。

  • 高吞吐

    支持日接入量超十万亿,历经腾讯万亿级数据量的苛刻考验。

  • 高可用

    6年生产环境考验,历经每天峰值数据接入考验;数据安全性和可靠性保障,数据全流程可靠,使用安全协议。

产品功能
  • 数据采集
    为各种异构数据源提供数据采集接口,支持多种主流关系数据库如Oracle、SQL Server、MySQL、PostgreSQL等的高效数据采集;支持HDFS、FTP、文本文件等文本类日志数据离线导入;支持实时数据接入如Flume、Kafka的流式数据接入;支持结构化、半结构化、非结构化的异构数据毫秒级实时接入;支持全量、批量、实时等多种数据采集策略。
  • 数据传输
    采用自研的高可靠、高吞吐的消息中间件进行数据的传输,确保数据的可靠性和安全性。TDBank中的消息队列组件摒弃Kafka过于依赖的集群协调节点ZooKeeper的架构,采取去中心化、分而治之的架构设计,在保证高性能传输数据的同时,避免了传输中数据丢失的风险。
  • 数据分发
    支持按需实时分发数据,内部由TDSort负责数据分拣到各种异构的目标端。数据分发主要两个场景包括:一是分发到HDFS和负责提供离线的海量数据处理和分析的服务,如数据挖掘、产品报表和经营分析的离线分布式数据仓库平台;另一个是分发到负责提供实时数据分析的在线实时计算平台。
  • 采集状态监控
    通过TDBank的秒级监控平台,对采集和分发过程中数据的生产、消费、以及采集链路进行实时监控,提供完善的系统状态、集群状态、业务状态等监控体系,帮助管理员及时发现系统故障和异常并恢复。
  • 指标对账
    TDBank系统内的搭建了对账体系,支持对日均消息流水超过十万亿级别数据采集从源到终端的入库实时监控,并提供采集和分发指标对帐、通过指标来监控数据质量。在整个数据采集与交换的过程中,涉及数据接入、数据传输、数据分发三个主要环节。为监控整条链路的可靠性,TDBank在这三个环节加了指标日志,包括:数据接入环节每分钟每个Topic发送多少条数据;数据传输环节每分钟每个Topic接收了多少条数据,数据分发环节每分钟每个Topic消费多少条数据。
知识库
  • 07.05 贵阳 种下“智慧果” 数据上云端
    只需扫一扫包装盒上的二维码,就能看到贵阳市修文县生产的猕猴桃从秧苗到挂果,再到分拣包装的全过程。大数据已和这里的猕猴桃产业建立了千丝万缕的关系,并带动全县6000余户猕猴桃种植户、上万群众致富。
  • 07.05 数据在“跑路” 智慧新警务助力
    一场发生在佛山的跨洋重逢,演绎了全国首例跨国DNA比对认亲的感人新闻。而这背后,有广州、佛山、中山三地具备国际视野的志愿者在助力,也有“互联网+”、DNA技术发展推动的智慧新警务在接力支持。
  • 06.26 工信部:推动互联网、大数据、人工智能和实体经济深度融合
    党的十九大报告指出,“加快建设制造强国,加快发展先进制造业,推动互联网、大数据、人工智能和实体经济深度融合,在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成
  • 06.25 人工智能与遥感解译结合大幅提升数据处理能力
    遥感学家李德仁院士认为,遥感技术正在由对地观测进入对人、对社会观测的新阶段,随着技术的不断进步,将有更多的技术手段应用到这一领域。未来在人工智能技术的帮助下,对观测的数据进行挖掘、管理,地理信息技术将
  • 06.22 大数据建设探索“数据壁垒”破题之道
    通过环保在线监控系统,可以在手机或者电脑端实时看到企业的污水、废气排放情况;通过数字城管系统,可以实时收集市民、信息采集员反映的城市管理问题,并快速安排城管工作人员处理案件……大数据、“互联网+”已经
  • 06.21 重庆市推进“互联网+政务服务”6月底前所有医师将完成电子化注
    6月20日,重庆日报记者从市卫生计生监督执法局获悉,到6月底前,重庆市所有医师将完成电子化注册,方便医师办理注册、变更、注销等事项。据悉,此举也是我市加快推进“互联网+政务服务”,充分运用大数据思维,
腾讯研究院 QQ浏览器 腾讯大数据 腾讯LBS 腾讯安全联合实验室 腾讯电脑管家
Copyright © 1998-2018 Tencent . All Rights Reserved

欢迎咨询“腾讯慧聚TDbank”相关业务

腾讯慧聚TDbank主要负责数据的实时采集,分发以及配置管理工作,旨在统一数据入口,对外提供多样的数据接入方式,以及高效实时地分发数据。TDbank负责从业务数据源获取数据分发给离线/在线处理平台,构建数据源和数据处理系统间的桥梁,将数据处理系统同业务侧的数据源解耦。


欢迎您与我们联系合作,或提出宝贵意见。

联系人邮箱:bigdata@tencent.com
您也可以留下公司联系方式,我们会有专员与您联系
*公司名称:
*公司地址:
*联系人姓名:
*手机号码:
*邮箱地址: