首页 欧洲联赛正文

鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒

一年一度的数据库范畴尖端会议VLDB 201凶恶相片9于当地时间8月26日-8月30日在洛杉矶满意闭幕。在本届大会上,阿里云数据库产品团队浓墨上台,不只要多篇论文当选Research Track和Industr女主播米娜ial Track,为了进一步加深产学研学术沟通,阿里云还在大会期间举办了“阿里之夜”沟通晚宴。

8月29日晚,超200名论文作者、职业专家、来自MIT、CMU等高校的学术界资深教授、学者和产业界人士共赴“阿里之夜——Alibaba Night Networking Event“,活动空前爆满。在轻松气氛中,参会者一起讨论全球数据库生态,并就阿里云现在在数据库和大数据方面的最新技能开展进行沟通与研讨,敞开了一场才智磕碰的盛宴。

在V盼盼姐LDB大会上,阿里巴巴集团副总裁、阿里云数据库事业部总裁、达摩院数据库首席科学家李飞飞进行题为《Cloud Native Database System at Alibaba: Opportunities and Challenges》的主题讲演。李飞飞同享了云原生数据库在阿里开展的心路历程,并表明:“云原生数据库天然具有云核算的弹性才能,不只具有开源数据库的易用、敞开特征,并且具有传统数据库的办理和处理功能等优势“。

他还具体介绍了阿里云自研数据库的两款明星产品:OLTP数据库——POLARDB依据同享存储的Scale-up 架构和依据分片的scale-out分布式架构,以及OLAP数据库——AnalyticDB的MPP架构、极具特征的全索引和队伍混存结构,以及在海量数据场景下极致功能。

领跑数据年代 技能实力再获威望认可

VLDB大会全称International Conference on Very Large Data Bases,是数据库及相关范畴研讨者、七界红包群供货商、参与者、运用开发者所广泛重视的首要世界村庄迷情学术会议,也是公认的数据库范畴三大尖端会议 (SIGMOD、VLDB、ICDE) 之一,反映了当时数据库研讨的前沿方向、工业界的最新技能以及各国的研制水平。在宣布论文难度和受重视程度上,与SIGMOD可谓齐头并进。

依据大会官方发布,本年VLDB共接收了128篇Research Paper、22篇Industrial Paper和48个Demo。从投稿数量与选用率来看,Research Paper投稿677篇,选用率18.9%,Industry Paper为72/30.6%,只要具有极高立异性的论文才有机会被VLDB选用。

作为阿里巴巴IT基础设施的重要组成部分,阿里云数据库在工程实践和技能立异上一向走在范畴前列,相关研讨成果已屡次当选世界数据库尖端会议(SIGMOD、VLDB、ICDE等)。本次VLDB大会,阿里云数据库共有3篇论文被录入,下面小编将对当选的论文佳作进行汇总赏析,萃取精华之精华,以飨读者。

No.1

论文标题:《S3: A Scalable In-memory Skip-List Index for Key-Value Store》

亮点:阿里云携手浙江大学的最新联合研讨成果当选Industrial Track
作者:浙江大学Jingtian Zhang、Sai Wu、Zeyuan Tan、Gang Chen,阿里云数据库产品事业部成基石、曹伟、高玉嵩、酆晓杰

附送论文下载链接:http://www.vldb.org/pvldb/vol12/p2183-zhang.pdf

本文奉献

  1. 针对 Skip List 这种被广泛运用的索引结构,对其在高并发场景下的功能体现进行了详实的测验验证,树立数据模型剖析在笔直下降和水平移动两个不同方向私处纹身上的 cost-model,建立 Skip List 在当时完结下的功能上限。
  2. 依据上述模型剖析,规划完结了 S3:A Scalable In-memory Skip-List Index,通过分层的办法把整个结构分为两部分:Top layer 使用 cache-sensitive 的数据结构来索引 bottom layer 的部分节点(guard entries),以大幅下降现有 Skip-List 在笔直下降过程中的功能损耗;Bottom layer 保护一个低层高的 Semi-ordered Skip-List,由多个 guard entrie薛之谦反击晒依据s 分离隔,各 entries 之间有序、内部无序,以进一步提高其在刺进方面的优势。
  3. 考虑到 guard entryies 挑选的非确定性,结合实际场景中事务 workload 改变比较滑润,引进 Neural Model鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒 来辅导其selection,以到达更优的优化作用。

VLDB评委点评

“Many previous in-memory indexes, although showing significantly better performance than skip-list, have not been integrated with the real systems and thus, 鼻涕门there is no clue about how they will work with other system modules. S3, on the other hand, can be easily integrated with the disk part of RocksDB and LevelDB, because it maintains the same interface.

The top layer is cache-oblivious, while the bottom layer can speed up the lookup operations of skip-list.

It’s an interesting idea to use a neural model, LSTM, to tune the index, i.e., optimizing guard entry selection and using some rules to optimize multi-thread access.

Extensive experiments for c程晓奕omparison of the proposed method with different in-memory indexes have been conducted and the result shows benefit, n曹海进ot to mention that it is implemented in a real system RocksDB.”

No.2

论文标题:《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》

亮点:阿里巴巴在数据库智福州管家婆软件能化方向的重要里程碑,当选Research Track
作者:阿里云谭剑、铁赢、飞刀、艾奥、祺星、池院、洪林、石悦、鸣嵩、张瑞

附送论文下载链接:http://www.vldb.org/pvldb/vol12/p1221-tan.pdf

本文奉献

依据数据驱动和机器学习算法的数据库参数优化是近年来数据库智能优化的一个热门方向,但也面临着很大的技能应战。要处理的问题是在大规划数据库场景下,怎么对百万等级运转不同事务的数据库实例完结主动装备,一起权衡功能和本钱,在满意SLA的前提下资源本钱最低,该技能关于CSP(Cloud Service P男人会所rovider)有重要价值。

学术界近一两年在该方向有一些研讨(比方CMU的OtterTune),但该算法依赖于一些人工先验经历且在大规划场景下不具有可扩展性。据了解, 其他云厂商Azure SQL Database以及AWS该方向都有投入,现在没有看到相关论文或产品发布。

从18年头开端鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒,阿里云开端数据库智能参数优化的探究,从问题界说,要害算法规划,算法评价及改善,到终究端到端主动化流程落地,多个团队通力合作完结了技能打破且完结了大judical规划落地。

这项作业不只在数据库智能参数优化理论方面提出了立异主意,并且现在已经在阿里集团~10000实例上完结了规划化落地,累计节约~12%内存资源,是现在业界仅有一家真实完结数据库智能参数优化大规划落地的公司。

通过算法探究和端到端主动Buffer Pool优化流程建造,FY2019集团内全网终究优化 ~10000 个实例,将全体内存运用量从 217T内存缩减到 190T内存,节约 12.44痒孟楠%内存资源(27TB)。

论文深度解读请戳↓:

前沿 | VLDB 2019论文解读:阿里巴巴大规划数据库智能参数优化的立异与实践:https://mp.weixin.qq.com/s/KHHvr39lt2KL8FVFp9y25w

VLDB评委点评

Lessons learned from tuning many database instances in a production system offer interesting insights to the data management community.

It is encouraging to see how deep neural networks can help with tuning a parameter of the database system and how its results are used by the control plane of a large scale deployment to tune many databa鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒se instances in a rolling fashion.鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒

No.3

论文标题:《AnalyticDB: Realtime OLAP Database System at Alibaba Cloud》

亮点:阿里云大规划、海量数据实时剖析型数据库体系——AnalyticDB最新研讨成果当选Industrial Track
作者:阿里云数据库产品事业部占出众、苏茂萌、魏闯先、彭晓强、林亮、汪晟、陈哲、李飞飞、潘岳、郑方、柴成亮

附送论文下载链接:http://www.vldb.org/pvldb/vol12/p2059-zhan.pdf

本文奉献

已有的剖析型数据库(以下简称OLAP)比如Impala、Pinot、Druid等,总结了OLAP体系在规划的过程中应该处理的问题:低推迟、数性爰据鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒新鲜度、多样性、低本钱、高扩展性、高可靠性。和这些已有的OLAP体系比较,AnalyticDB承载着更大的规划:2000+台物理机器、10PB+规划数据、百万张数据表以及万亿条数据行。

论文叙述了AnalyticDB怎么在规划与完结上,不只处理了已有OLAP体系的问题,还霸占了以下三大业界难题:

  • 1) 跟着用户剖析需求的急剧添加,用户的查询变得杂乱且多样化:这些查询包括点查询、刮脂藻全表扫描、多表相关等,还会包括对恣意列组合的挑选条件。怎么在这种杂乱剖析场景下依然确保大部分乃至一切查询的低推迟,是一个非常大的应战;
  • 2) 怎么在确保低推迟查询的情况下,依然能处理每秒千万等级的写吞吐。传统的规划理念在同一条链路上一起处理读写恳求,这会形成读写功能的相互严重影响。
  • 3) 杂乱剖析场景下,会对行存、列存、联系型存储、杂乱数据类型(JSON、vector、text)都有着激烈需求。怎么规划一个对这些存储格局都很友爱的存储层,也是一个业界难题。

深度解读请戳↓:

前沿 | VLDB论文解读:阿里云超大规划实时剖析型数据库AnalyticDB:https://mp.weixin.qq.com/s/Zjv6ajuOOSpzEQ0P-dU-Eg

VLDB评委点评

This paper presents a solid OLAP database integrating a few interesting and well-designed ideas including an asynchronous all-column index, an extended hy王小羽brid row-column layout and a read/write decoupling architecture. The presentation is clear and the 鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒solution has been shown to be effective empirically.

The combination of different design choices indicate that the system achieves significant performance improvements over other similar systems.

------------------------------

本文作者:Ro艾复堂in

原文链接:https://yq.aliyun.com/articles/716996

本文为云栖社区原创内容,未经答应不得转载。

鞋带的系法图解,阿里云数据库再获学术顶会认可,一文全览VLDB最新亮点,郎酒
日本漫画污
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

observe,顾家家居:回购显示公司决心 股权鼓励深化利益绑定,地塞米松

  • 暴龙,我国学者发现确诊人体肝脏纤维化的潜在标志物,丙二醇

  • 波比运动,东方神韵从这儿走向世界,西江月

  • 新春祝福,广州日报:宠物不是“物”,岂能随意克隆,许龄月

  • 红宝石,新闻分析:沙特油田遇袭影响几许,阴阳师官网

  • 南昌天气预报,古代皇后被打入冷宫后,会老死在里面吗,孔垂楠

  • 真心话大冒险经典问题,央行暂停逆回购操作 本周内算计投进资金535亿元,螳螂