數(shù)據(jù)庫(kù)是數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施，是IT產(chǎn)業(yè)基礎(chǔ)軟件三駕馬車之一。當(dāng)今世界，數(shù)字化建設(shè)與數(shù)據(jù)智能發(fā)展如火如荼，數(shù)據(jù)庫(kù)的穩(wěn)定與高效是保障高科技產(chǎn)業(yè)順利發(fā)展的重要因素，數(shù)據(jù)庫(kù)相關(guān)技術(shù)也成為新時(shí)代背景下大國(guó)之間競(jìng)爭(zhēng)的制高點(diǎn)。目前，數(shù)據(jù)庫(kù)管理系統(tǒng)是美國(guó)對(duì)華禁運(yùn)的35項(xiàng)“卡脖子”技術(shù)之一，而保障數(shù)據(jù)庫(kù)穩(wěn)定運(yùn)行的智能運(yùn)維技術(shù)是數(shù)據(jù)庫(kù)技術(shù)皇冠上的明珠。傳統(tǒng)人工運(yùn)維方式已經(jīng)越來越難以維護(hù)功能復(fù)雜的數(shù)據(jù)庫(kù)系統(tǒng)在龐大業(yè)務(wù)與復(fù)雜負(fù)載下的穩(wěn)定性與高效性。但隨著數(shù)據(jù)業(yè)務(wù)的上升，對(duì)數(shù)據(jù)庫(kù)運(yùn)維的需求卻日漸高漲，如何解決其中的內(nèi)在矛盾，已成為學(xué)術(shù)界與工業(yè)界共同關(guān)心的議題。

人工運(yùn)維存在下列問題：

·成本高：數(shù)據(jù)庫(kù)管理員（DBA）年薪普遍在50萬(wàn)以上

·效率低：資深工程師進(jìn)行一次維護(hù)調(diào)參需要6小時(shí)以上

·門檻高：DBA培養(yǎng)周期長(zhǎng)，非資深DBA調(diào)參效果難以滿足需求

針對(duì)上述問題，SmartOp團(tuán)隊(duì)提出SmartOp數(shù)據(jù)庫(kù)智能管家，運(yùn)用人工智能技術(shù)對(duì)數(shù)據(jù)庫(kù)進(jìn)行智能調(diào)參和索引推薦，大大提高數(shù)據(jù)庫(kù)性能。團(tuán)隊(duì)的技術(shù)方案目前達(dá)到國(guó)際領(lǐng)先水平，是唯一可落地的商業(yè)化解決方案。本項(xiàng)目主要功能分為兩部分：

① 數(shù)據(jù)庫(kù)自動(dòng)調(diào)參

依托機(jī)器學(xué)習(xí)技術(shù)高效完成數(shù)據(jù)庫(kù)參數(shù)調(diào)優(yōu)，降低現(xiàn)階段數(shù)據(jù)庫(kù)參數(shù)調(diào)優(yōu)人力和時(shí)間成本。該功能使用長(zhǎng)短期融合獎(jiǎng)勵(lì)函數(shù)，在綜合考慮吞吐量和延遲的基礎(chǔ)上，結(jié)合短期收益和長(zhǎng)期收益對(duì)調(diào)參過程進(jìn)行彈性控制，解決了智能調(diào)參不能很好適應(yīng)負(fù)載動(dòng)態(tài)變化和工作狀態(tài)動(dòng)態(tài)變化的難題；開發(fā)在線訓(xùn)練方式，利用后臺(tái)克隆和并行化技術(shù)同時(shí)試錯(cuò)多種調(diào)參方向，輔以機(jī)器學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)庫(kù)參數(shù)個(gè)數(shù)和維度進(jìn)行壓縮降低調(diào)優(yōu)成本，解決了自動(dòng)調(diào)參中參數(shù)數(shù)量多、相關(guān)性復(fù)雜、空間大等難題。

② 數(shù)據(jù)庫(kù)智能索引推薦

針對(duì)數(shù)據(jù)庫(kù)中因索引不合理導(dǎo)致的慢請(qǐng)求，以智能化方式推薦合理的索引結(jié)構(gòu)，提高云服務(wù)廠商的服務(wù)質(zhì)量和數(shù)據(jù)庫(kù)購(gòu)買用戶的使用體驗(yàn)。該功能使用端到端訓(xùn)練技術(shù)，以向量化方式統(tǒng)一管理工作負(fù)載和索引，杜絕人為干預(yù)，真正做到端到端訓(xùn)練；使用代價(jià)估計(jì)模型，利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行代價(jià)估計(jì)，快速評(píng)估索引性能，提升學(xué)習(xí)索引推薦效率。

圖1 數(shù)據(jù)庫(kù)自動(dòng)調(diào)參

圖2 數(shù)據(jù)庫(kù)智能索引推薦

普通DBA推薦一次索引需要1-2小時(shí)，二智能索引推薦只需要1-3分鐘。同時(shí)，智能推薦的索引相比DBA推薦的索引可以使數(shù)據(jù)庫(kù)相應(yīng)時(shí)間降低34%，空間消耗減少25%。

①SmartOp 相比于市面上的其他技術(shù)和產(chǎn)品，真正解決了自動(dòng)調(diào)參實(shí)際落地的難點(diǎn)問題，性能調(diào)優(yōu)結(jié)果首次全面超越DBA專家，大幅提高數(shù)據(jù)庫(kù)運(yùn)維效率?；诙喾N不同負(fù)載和不同類型數(shù)據(jù)庫(kù)的大量實(shí)驗(yàn)證明，自動(dòng)調(diào)參系統(tǒng)性能優(yōu)化結(jié)果明顯優(yōu)于目前已有數(shù)據(jù)庫(kù)調(diào)優(yōu)工具和 DBA 專家。即使在彈性云環(huán)境下，即用戶購(gòu)買數(shù)據(jù)庫(kù)內(nèi)存或磁盤大小發(fā)生變化，或負(fù)載發(fā)生變化（類型不變) 的情況下，實(shí)驗(yàn)證明自動(dòng)調(diào)優(yōu)系統(tǒng)依然保持了較好的適應(yīng)能力。

②調(diào)優(yōu)時(shí)間和調(diào)優(yōu)結(jié)果可控，極大縮短調(diào)優(yōu)時(shí)間并能夠保證數(shù)據(jù)庫(kù)性能的提升，相比于國(guó)際領(lǐng)先的技術(shù) 0tterTune，SmartOp 的性能要高出 20%。

研發(fā)階段

·由中國(guó)電子學(xué)會(huì)召開、中國(guó)工程院何友院士擔(dān)任鑒定委員會(huì)主任的科技成果鑒定會(huì)鑒定為成果國(guó)際領(lǐng)先。

·榮獲中國(guó)電子學(xué)會(huì)科學(xué)技術(shù)發(fā)明二等獎(jiǎng)。

通用型數(shù)據(jù)庫(kù)引擎，對(duì)于所有使用數(shù)據(jù)庫(kù)的公司均可提供服務(wù)，因此應(yīng)用領(lǐng)域幾乎包括各行各業(yè)。對(duì)于初創(chuàng)公司，高昂的數(shù)據(jù)庫(kù)運(yùn)維成本是一筆較大的開銷，往往會(huì)阻礙公司的前期發(fā)展，智能化運(yùn)維引擎可以有效幫助其緩解創(chuàng)業(yè)初期的窘境；對(duì)于大型公司，龐大的數(shù)據(jù)量意味著更加復(fù)雜的運(yùn)維工作，微小的失誤也可能造成不可估量的損失，高效可靠的運(yùn)維對(duì)其重要性不言而喻?；谝陨显?，本團(tuán)隊(duì)相信產(chǎn)品擁有廣泛的市場(chǎng)前景。

應(yīng)用案例：

①目前正與國(guó)內(nèi)頂級(jí)云廠商騰訊、華為等公司有著深度合作，提出的智能運(yùn)維方案是目前唯一可落地的商業(yè)化解決方案，比騰訊云目前最先進(jìn)方案節(jié)約調(diào)優(yōu)時(shí)間40%-60%，得到了騰訊TEG部門數(shù)據(jù)庫(kù)技術(shù)專家程彬的高度評(píng)價(jià)；

②與航天科工網(wǎng)絡(luò)信息發(fā)展有限公司開展合作項(xiàng)目，在數(shù)據(jù)庫(kù)管理和運(yùn)維方面取得了一系列高水平成果，其核心技術(shù)已經(jīng)在航天科工網(wǎng)絡(luò)信息發(fā)展有限公司進(jìn)行應(yīng)用。

發(fā)展規(guī)劃：

①在2024年，計(jì)劃將業(yè)務(wù)拓展到其他國(guó)內(nèi)數(shù)據(jù)庫(kù)提供商，如阿里、人大金倉(cāng)等，提供智能運(yùn)維服務(wù)，該階段將提供直接就業(yè)崗位40+，間接就業(yè)崗位70+。

②在2025年，在繼續(xù)擴(kuò)大已有市場(chǎng)份額的同時(shí)，針對(duì)其他數(shù)據(jù)庫(kù)運(yùn)維過程中存在的難點(diǎn)痛點(diǎn)如根因分析、負(fù)載預(yù)測(cè)等方面進(jìn)一步研發(fā)新產(chǎn)品，加深技術(shù)壁壘，該階段將提供直接就業(yè)崗位80+，間接就業(yè)崗位150+。

知識(shí)產(chǎn)權(quán)：

該成果已申請(qǐng)/授權(quán)多項(xiàng)中國(guó)發(fā)明專利。

合作方式：