Twitter将开源MySQLHadoop转移工具万芳

发布时间：2020-02-14 11:16:49 阅读：次来源：千斤顶厂家

Twitter将开源MySQL/Hadoop转移工具-CSDN.NET

摘要：北京时间6月30日消息，根据国外媒体报道，Twitter计划开源Hadoop-happy架构的一个附加部分，Twitter用来作为内部数据分析。作为知名的Crane，这个是用来将MySQL转化到Hadoop的工具。这一开源

北京时间6月30日消息，根据国外媒体报道，Twitter计划开源Hadoop-happy架构的一个附加部分，Twitter用来作为内部数据分析。作为知名的Crane，这个是用来将MySQL转化到Hadoop的工具。这一开源数据分析平台建立在Google的私有设施上。

Twitter使用Hadoop来进行数据分析，同时该平台也被使用在站点上，包括Twitter的名称搜索功能。

Twitter的大部分表格数据存储在MySQL中，只有一小部分存储在Cassandra。Twitter的技术负责人表示要做的就是在一些地方结束MySQL表格存储。

因此Crane被开发出来，用于将数据从MySQL到HDFS或者Hadoop的HBase上。

文章转载自：开源中国社区 [http://www.oschina.net]

本文标题：Twitter将开源MySQL/Hadoop转移工具

本文地址：http://www.oschina.net/news/10164/Twitter-to-open-source-MySQL-to-Hadoop-tool