基于开放共享的自主研发—MaxCompute 年中增强生态与开放性建设
发布时间:2024-02-01
DTS
样本传输全方位DTS(Data Transmission Service)是穆萨寒透过的系统设计对样本流全方位,支持者RDBMS、NoSQL、OLAP等,集样本迁往/订阅/不间断于相联结,为您透过比较稳定安同类型的传输交换机。详细资料可用叮嘱点选。
样本动力系统设计多样性
MaxCompute自研SQL动力系统设计,相容hive文法,同时也支持者GNUSpark动力系统设计,录入了Mars,Graph图算出动力系统设计。应用于程序还可以通过MaxCompute CUPID独立自主因特网联接Presto,kylin等GNU动力系统设计先入行时样本量化算出。同时应用于程序可以适配多种不同业务部门一幕,过渡到多种不同算出动力系统设计,其当中就有约:
Hologres
应用于程序在花钱系统设计对表格格,系统设计对样本看板,因特网样本全方位等很高可用,很高鼓动的一幕,所需过渡到Hologres花钱系统设计对数仓量化全方位。为应用于程序透过较慢鼓动的因特网样本量化全方位。迄今为止MaxCompute跟Hologres已经顺利先入行时当中层样本打通,可以反之亦然先入行时识字。不够先入一步增强样本全方位可靠性。详细资料可用叮嘱点选。
PAI人工人机游戏平台
应用于程序在广告宣传一幕,金融业交尚可风控一幕,已经人机决策,人机话音客服等一幕都所需人机化算法模型支持者,PAI可以透过全方位的机器学习框架。同时PAI也跟MaxCompute深达录入,PAI可以并用MaxCompue庞大的分布式算出潜能,为PAI先入行时模型锻炼,样本算出。详细资料可用叮嘱点选。
人机门户网站
应用于程序在注释、视频等侦查一幕所需庞大的门户网站,MaxComput可以为侦查和延揽动力系统设计透过海量的样本驱动器和算出潜能。
OpenSearchOpenSearch是大规模分布式门户网站围住的全方位人机侦查业务部门合作开发游戏平台,通过内建各服务业的浏览语义理解、机器学习排序算法等潜能,透过充分开放的动力系统设计潜能,助力合作开发人员较慢围住人机侦查全方位。同时跟MaxCompute深达录入,MaxCompute为OpenSearch透过海量样本驱动器与样本算出潜能。详细资料可用叮嘱点选。
ElasticsearchElasticsearch专注充分运用基于GNU多样性的、廉价、一幕化的寒上Elasticsearch框架,源自GNU,又不止于GNU。基于寒上超的算出和驱动器潜能,以及在坦克部队安同类型和运维层面获取的系统设计经验,穆萨寒Elasticsearch不仅支持者坦克部队一键地面部队、弹性伸缩、人机运维和各类内核动力系统设计优化,还透过了迁往、容灾、备份和控管等同类型套框架。MaxCompute为Elasticsearch透过海量样本驱动器与样本算出潜能。详细资料可用叮嘱点选。
人机延揽
人机延揽AIRec(Artificial Intelligence Recommendation,简称AIRec)基于穆萨巴巴大样本和人工人机系统设计,联结在电商、细节、电视新闻、视频直播和人际等多个服务业层面的获取,MaxCompute为AIRec透过海量样本驱动器与样本算出潜能。详细资料可用叮嘱点选。
样本合作开发行政工具箱多样性
样本行政
迄今为止MaxCompute支持者以下几种GNU样本仓库里行政工具箱接入MaxCompute,对MaxCompute的工程建设先入行时行政。
DBeer
DBeer是一款仅限的多游戏平台样本库里工具箱,适用范围于合作脚本语言、样本库里行政员、量化师和所有所需采用样本库里的系统设计人员。不够多DBeer数据,叮嘱参见DBeer。接入MaxCompute后,可以通过DBeer对MaxCompute的工程建设先入行时行政,可以反之亦然查看MaxCompute的表格,表格结构设计,以及表格样本等可用。详细资料可用叮嘱点选。
DataGrip
DataGrip是面向合作脚本语言的样本库里行政环境污染,为浏览、创建和行政样本库里透过顺畅。样本库里可以在本地、全方位器或寒当中岗位。不够多DataGrip数据,叮嘱参见DataGrip。接入MaxCompute后,可以通过DataGrip对MaxCompute的工程建设先入行时行政,可以反之亦然查看MaxCompute的表格,表格结构设计,以及表格样本等可用。详细资料可用叮嘱点选。
SQL Workbench/J
SQL Workbench/J是一个仅限的、独立国家于DBMS(Database Management System)的、跨游戏平台的SQL浏览工具箱。SQL Workbench/J采用Ja第二语言汇编,可以在任何透过Ja运营环境污染的可用系统设计上运营。不够多SQL Workbench/J数据,叮嘱参见SQL Workbench/J。接入MaxCompute后,可以通过SQL Workbench/J对MaxCompute的工程建设先入行时行政,可以反之亦然查看MaxCompute的表格,表格结构设计,以及表格样本等可用。详细资料可用叮嘱点选。
样本合作开发调配游戏平台
MaxCompute除了可以用官方所另一款的DataWorks花钱样本录入,样本合作开发护航调配,护航运维,样本量化以及样本全方位等,同时也支持者小众大历样本合作开发行政工具箱。
官方所游戏平台
DataWorks
DataWorks基于MaxCompute大样本动力系统设计,为样本仓库里、样本湖泊、湖泊仓相联结等框架透过统一的同类型交换机大样本合作开发治水游戏平台。详细资料可用叮嘱点选。
GNU工具箱
迄今为止MaxCompute支持者以下GNU样本合作开发调配工具箱接入MaxCompute,可以在这些游戏平台上合作开发样本护航检修,检修调配等。
KettleMaxCompute支持者您通过ETL工具箱Kettle构建MaxCompute检修调配。您可以通过借助于控件的方式,不方便地定义样本传输的等价结构设计。详细资料可用叮嘱点选。
AirflowMaxCompute支持者您采用Apache Airflow通过Python连接器构建检修调配。详细资料可用叮嘱点选。
AzkabanMaxCompute支持者您通过Azkaban构建检修调配,尽力您很高效地顺利先入行时很高频样本量化岗位。详细资料可用叮嘱点选。
样本湖泊多样性
MaxCompute不仅可以对自足驱动器的样本先入行时很高效快捷的先入行时算出,同时也可以通过外表格,湖泊仓相联结(External Schema+Foriegn Server)的方式先入行时样本共同算出。
外部表格
迄今为止MaxCompute支持者RDS,OSS,TableStore,Hbase/Lindorm以外表格的方式先入行时共同算出。应用于程序可以不载入样本先入MaxCompute,也可以不方便的用MaxCompute先入行时样本共同算出。详细资料可用叮嘱点选。
湖泊仓相联结
迄今为止MaxCompute湖泊仓相联结,可以支持者DLF+OSS/HDFS/HUDI等多种样本源,先入行时湖泊仓相联结共同算出。应用于程序可以在MaxCompute构建临近样本源,通过External Schema对临近样本源先入行时元样本统一行政,花钱共同算出。详细资料可用叮嘱点选。
样本应用于多样性
迄今为止MaxCompute已经接入产品上小众的BI人机量化工具箱,可以让应用于程序不方便的在BI人机量化工具箱上对MaxCompute的样本先入行时量化以及塑造出。主要接入的商贸人机量化工具箱有穆萨寒系列产品Quick BI,同时也支持者小众的GNU和商贸化BI系列产品,例如GNUBI量化工具箱superset商贸BI量化工具箱Tableau等。
Quick BI
人机量化套件Quick BI是一个专为寒上应用于程序量足充分运用的同类型人机BI全方位游戏平台。Quick BI可以透过海量样本系统设计对因特网量化全方位,支持者借助于式可用和充沛的系统设计效果,尽力您笨拙自如地顺利先入行时样本量化、业务部门样本察看、表格格制作等岗位。MaxCompute深达录入Quick Bi,不方便应用于程序在Quick BI花钱样本量化塑造出。详细资料可用叮嘱点选。
Tableau
MaxCompute支持者您将MaxCompute工程建设样本因特网联接Tableau先入行时系统设计量化,您可以并用Tableau适合于的拖放式编辑器,图标视图、布局、外观、颜色等,尽力您塑造出自己的样本背景。详细资料可用叮嘱点选。
FineBI
MaxCompute支持者您将MaxCompute工程建设样本因特网联接FineBI,尽力大企业的业务部门系统设计人员和样本量化师进行以疑问为建构的探索式量化岗位。联接FineBI和MaxCompute工程建设,并先入行时系统设计样本量化。详细资料可用叮嘱点选。
FineReport
MaxCompute支持者您将MaxCompute工程建设样本因特网联接FineReport,您通过有用借助于式可用便可制作当中国式复杂表格格。联接FineReport和MaxCompute工程建设,并先入行时表格格量化。详细资料可用叮嘱点选。
观远BI
MaxCompute支持者您将MaxCompute工程建设样本因特网联接观远BI,尽力大企业的业务部门系统设计人员和样本量化师进行以疑问为建构的探索式量化岗位以及制作样本闪卡和样本看板。联接观远BI和MaxCompute工程建设,并先入行时系统设计样本量化。详细资料可用叮嘱点选。
网尚可有约BI
MaxCompute支持者您将MaxCompute工程建设样本因特网联接网尚可有约BI,尽力您笨拙顺利先入行时样本量化和样本系统设计岗位。采用网尚可有约BI联接MaxCompute工程建设,并先入行时系统设计样本量化具体详细资料可用叮嘱点选。
Yonghong BI
MaxCompute支持者您将MaxCompute工程建设样本因特网联接Yonghong BI,尽力您笨拙顺利先入行时样本量化和样本系统设计岗位。详细资料可用叮嘱点选。
set
MaxCompute支持者您将MaxCompute工程建设样本因特网联接set,尽力您较慢、轻量、简单地探索和系统设计量化样本。详细资料可用叮嘱点选。
Dinci
MaxCompute支持者您将MaxCompute工程建设样本因特网联接Dinci,您需在系统设计UI编辑器上有用备有需全方位多种样本系统设计应用于。详细资料可用叮嘱点选。
MaxCompute管理模式与开放性
MaxCompute为了让应用于程序不够佳的用好系列产品,对外透过了开放联接录入潜能。MaxCompute制作组聚焦花钱好一个当中心驱动器与算出潜能。迄今为止可以通过以下几种接入方式与MaxCompute花钱录入。
MaxCompute开放管理模式
SDK
迄今为止MaxCompute支持者Ja和Python修改海外版的SDK透过给临近系统设计先入行时录入行政。应用于程序也可以通过SDK对MaxCompute的实例,自然资源,工程建设,表格等先入行时行政,同时可以通过SDK提交SQL Task先入行时样本算出,如果应用于程序所需图标函数,可以通过ja/python合作开发UDF,UDAF跟UDTF,合作开发自己的业务部门命题,然后发送给并注册。在SQL检修当中反之亦然采用。详细资料可用叮嘱点选。
JDBC
为了不方便应用于程序采用,MaxCompute还透过了JDBC驱动,应用于程序可以通过JDBC因特网联接,可以通过标准的JDBC连接器基于MaxCompute执行海量样本的分布式算出浏览,迄今为止应用于程序主要用JDBC对MaxCompute的样本先入行时浏览,例如BI人机量化游戏平台,采用的都是JDBC方式联接先入行时样本量化浏览。详细资料可用叮嘱点选。
Tunnel
应用于程序可以通过Tunnel upload下令把而无须最终目标住址上样本发送给到MaxCompute,支持者表格,分组档次的样本发送给。可以通过download的下令把MaxCompute的样本完整版到而无须最终目标住址或者本地,可以支持者完整版某个表格或者某个分组的样本,同时也支持者完整版某个SQL instance算出好的结果样本。为了不致因特网因素所引致样本发送给完整版当中断的情况,MaxCompute tunnel还支持者断点续传功用。详细资料可用叮嘱点选。
开放性与多样性一幕实践
某金融业互联网日本公司,同类型业务部门上了穆萨寒后,大样本选择了MaxCompute作为一个当中心算出动力系统设计,围住了大样本游戏平台,来得之后自设的模式,算出速度增强了10倍,成本节省了三成。
样本源的样本通过kafka,DTS系统设计对不间断。 因特网联接Flink后花钱系统设计对样本算出,算出完后的样本系统设计对重写MaxCompute花钱因特网量化,样本仓库里围住。 录入Dataworks样本合作开发调配游戏平台,对样本先入行时加工合作开发调配,样本行政,有约样本安同类型,样本运动速度,管辖权等。 样本不间断到Hologres,kylin,ES,Hbase花钱系统设计对样本业务部门一幕应用于,有约因特网量化,标签全方位,表格格看板,侦查,延揽等。系列产品管理模式
总结
MaxCompute的多样性在不断完善当中,为大企业带来不够充沛的组件,为应用于程序透过不够佳全方位。在开放性上,MaxCompute但会开放不够多潜能,跟大样本多样性系列产品花钱录入。在自然资源调配上但会基于K8s另一款fuxi调配动力系统设计统一调配海外版,在游戏平台行政上但会逐渐合作开发标准restful API连接器,不够不方便应用于程序花钱录入。在开放不够多潜能的同时,但会另一款明确的系列产品放宽项和潜能边界,透过有应有的很提高效率全方位。
原文链接:
本文为穆萨寒原创细节,擅自受限制不得刊载。
。类风湿性关节炎有哪些症状吃得太油消化不良怎么办
颈椎病止痛药有哪些
新冠XBB.1.16
宝宝消化不良吃什么药效果好
-
男子被饲养“”,后下体受损,怒杀对方及其情夫
地中的长大的他拥有得意的力气。施工方上的活计虽然得人,但好在能挣到的银子也多。 金某和同仁们一天最自娱的时间段就是到旁的小快餐店捡几瓶酒,躺在快餐店门年前整天作对。
- 2024-02-10香港入境处:预计春节及复活节假期期间(4月1-10日)约有903万人次进出香港
- 2024-02-10销售主要的职责是什么?看完这文中,你就知道自己该干什么了
- 2024-02-10属鸡人的6个昭仪
- 2024-02-10广铁集团:大幅提升往返深港和穗港的拟建运能 增开客货列车
- 2024-02-10奥地利央行行长:通胀率居高不下,必须进一步加息
- 2024-02-10江苏荒唐命案,男子让酒肉朋友和妻子发生关系,被妻子用菜刀
- 2024-02-10泰国与日本续签本币互换两国政府
- 2024-02-10天毅的公司全面清理库存物资确保物尽其用
- 2024-02-10桌球“肉偿”赌债,男子却使用特殊工具,桌球:别这样,我受不了
- 2024-02-10大摩:中海油(00883)2022年净利润创历史创纪录 评级“增持”