基金業(yè)數(shù)字化轉(zhuǎn)型專(zhuān)題 | 匯添富基金：IT自動(dòng)化測(cè)試項(xiàng)目

    【編者按】為深入貫徹落實(shí)黨的二十大精神，引導(dǎo)基金行業(yè)機(jī)構(gòu)踐行《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》，共促基金行業(yè)數(shù)字化轉(zhuǎn)型，按照中國(guó)證監(jiān)會(huì)總體工作部署，于2022年11月開(kāi)展“證券期貨業(yè)數(shù)字化轉(zhuǎn)型主題宣傳月”活動(dòng)。通過(guò)開(kāi)展“證券期貨業(yè)數(shù)字化轉(zhuǎn)型主題宣傳月”活動(dòng)，搭建交流平臺(tái)，展現(xiàn)數(shù)字化轉(zhuǎn)型成果案例，激發(fā)金融科技創(chuàng)新活力，營(yíng)造金融科技長(zhǎng)效發(fā)展新生態(tài)。該篇為“證券期貨業(yè)數(shù)字化轉(zhuǎn)型主題宣傳月”系列宣傳之二十。

    IT自動(dòng)化測(cè)試項(xiàng)目

    ——匯添富基金

    我司測(cè)試團(tuán)隊(duì)于2015年正式成立，最早介入的是電商直銷(xiāo)測(cè)試項(xiàng)目，隨著直銷(xiāo)業(yè)務(wù)的發(fā)展及我司IT項(xiàng)目逐漸增多，測(cè)試團(tuán)隊(duì)規(guī)模從最初的三人擴(kuò)充至目前的四十多人（含外包），經(jīng)過(guò)幾年發(fā)展，吸取了其他金融行業(yè)的測(cè)試經(jīng)驗(yàn)，現(xiàn)已形成了一整套適合我司自身IT特點(diǎn)、成熟的測(cè)試體系，覆蓋的測(cè)試類(lèi)型包含功能、自動(dòng)化、性能、接口測(cè)試等。

    一、測(cè)試工作活動(dòng)周期

    二、數(shù)字化轉(zhuǎn)型需求與自動(dòng)化測(cè)試建立

    國(guó)內(nèi)自動(dòng)化測(cè)試[1]在2008年左右興起，金融業(yè)最早使用自動(dòng)化測(cè)試的主要是銀行、券商、外匯交易中心等大型的金融機(jī)構(gòu)。隨著市場(chǎng)對(duì)于公募基金的認(rèn)可增加，為了適應(yīng)需求激增的市場(chǎng)，我司對(duì)于直銷(xiāo)項(xiàng)目的迭代速度要求越來(lái)越高，迭代頻率也越來(lái)越快。我司IT測(cè)試在人力資源投入有限的情況下于2016年自主研發(fā)了第一款基于GUI的自動(dòng)化測(cè)試產(chǎn)品-Excel-Driven-HTF自動(dòng)化測(cè)試框架（圖2）。

    該套框架是基于當(dāng)時(shí)主流PC端的GUI自動(dòng)化測(cè)試基礎(chǔ)上研發(fā)的，擁有運(yùn)行錯(cuò)誤自動(dòng)截屏、錯(cuò)誤恢復(fù)機(jī)制、自定義函數(shù)、自動(dòng)生成Excel報(bào)告[2]等功能，也有腳本[3]易于維護(hù)、業(yè)務(wù)人員只要填寫(xiě)Excel便能參與自動(dòng)化測(cè)試等特點(diǎn)。該套Excel驅(qū)動(dòng)框架在數(shù)字驅(qū)動(dòng)、關(guān)鍵字驅(qū)動(dòng)的基礎(chǔ)上，隨著業(yè)務(wù)的發(fā)展不斷更新升級(jí)。

    （一）建立自動(dòng)化測(cè)試體系

    在自動(dòng)化測(cè)試體系[4]的建立過(guò)程中，首先，確定自動(dòng)化測(cè)試適用范圍、梳理測(cè)試對(duì)象，并開(kāi)展自動(dòng)化測(cè)試可行性調(diào)研等工作；其次，制定自動(dòng)化測(cè)試流程、規(guī)范；最后，執(zhí)行自動(dòng)化測(cè)試。并以基礎(chǔ)交易為試點(diǎn)，以例行上線(xiàn)為場(chǎng)景，構(gòu)建了日常自動(dòng)化驗(yàn)證機(jī)制與手工測(cè)試相結(jié)合的測(cè)試體系。

    自動(dòng)化測(cè)試不能單純地理解為優(yōu)于手工測(cè)試的一種測(cè)試方式。自動(dòng)化測(cè)試、性能測(cè)試、手工測(cè)試、接口測(cè)試、白盒測(cè)試等不同的測(cè)試手段都是作為測(cè)試效能的一種實(shí)現(xiàn)方式，不能簡(jiǎn)單地做橫向比較。所有的測(cè)試手段都是為了提升項(xiàng)目質(zhì)量為目標(biāo)，以項(xiàng)目能夠高質(zhì)量上線(xiàn)為導(dǎo)向，能夠容納接受并服務(wù)于所有IT項(xiàng)目，這是建立測(cè)試體系的初衷。

    （二）自動(dòng)化團(tuán)隊(duì)建設(shè)

    團(tuán)隊(duì)建設(shè)方面，以自有員工為基石，招聘自動(dòng)化測(cè)試資深外包人才，組建團(tuán)隊(duì)。同時(shí)提升自動(dòng)化測(cè)試團(tuán)隊(duì)的業(yè)務(wù)知識(shí)和測(cè)試技能，定期培訓(xùn)、交流并建立了與手工測(cè)試不同的項(xiàng)目化考核體系。

    自動(dòng)化團(tuán)隊(duì)不僅要能夠?qū)懩_本、改框架，同時(shí)也要熟悉業(yè)務(wù)。所有測(cè)試人員不僅要求有良好的測(cè)試相關(guān)技術(shù)，也要對(duì)業(yè)務(wù)有深入的了解。在自動(dòng)化測(cè)試做到一定程度后，自動(dòng)化測(cè)試團(tuán)隊(duì)的業(yè)務(wù)水平應(yīng)不亞于業(yè)務(wù)人員，甚至可以根據(jù)實(shí)踐的操作經(jīng)驗(yàn)給專(zhuān)業(yè)的業(yè)務(wù)人員提出專(zhuān)業(yè)的見(jiàn)解或建議。

    （三）自動(dòng)化測(cè)試服務(wù)階段

    自動(dòng)化測(cè)試在完成了調(diào)研及框架搭建后，便可以在參與的項(xiàng)目中進(jìn)行實(shí)踐。在服務(wù)階段，有如下的定位：

    （1）建議自動(dòng)化測(cè)試腳本完成后，服務(wù)于自動(dòng)化回歸測(cè)試[5]、冒煙測(cè)試[6]。

    （2）參與回歸測(cè)試階段（每一輪手工測(cè)試最后幾天執(zhí)行自動(dòng)化測(cè)試）。

    （3）執(zhí)行環(huán)境為測(cè)試環(huán)境[7]。

    （4）每一輪測(cè)試手工測(cè)試與自動(dòng)化測(cè)試同步進(jìn)行，不存在執(zhí)行順序區(qū)別。

    （5）自動(dòng)化測(cè)試定位于日常版本的回歸測(cè)試。

    （6）自動(dòng)化測(cè)試也可用于緊急版本的回歸測(cè)試。

    依托于以上的定位來(lái)劃分與手工測(cè)試職能，能夠較好地與手工測(cè)試結(jié)合，也便于后期進(jìn)行相關(guān)的問(wèn)題排查，并更好地補(bǔ)充測(cè)試腳本或測(cè)試案例。

    自動(dòng)化測(cè)試在服務(wù)階段也并不是一成不變的，會(huì)根據(jù)實(shí)際測(cè)試情況不斷地進(jìn)行調(diào)整。

    （四）與手工測(cè)試結(jié)合

    自動(dòng)化測(cè)試和手工測(cè)試應(yīng)合作執(zhí)行，前期手工測(cè)試可與自動(dòng)化測(cè)試并行，待此模式成熟后，手工測(cè)試可不用測(cè)試自動(dòng)化所覆蓋的范圍。如有需求，自動(dòng)化測(cè)試可協(xié)助手工測(cè)試部署自動(dòng)化測(cè)試框架，以便在手工測(cè)試有小量需求時(shí)，可自行運(yùn)行自動(dòng)化測(cè)試腳本。

    同時(shí)，手工測(cè)試和自動(dòng)化測(cè)試也應(yīng)定期進(jìn)行工作互換，只有真正實(shí)踐后才能理解兩者的共同處和不同處，工作中才能更緊密的配合。

    由于自動(dòng)化測(cè)試工具的特性，自動(dòng)化測(cè)試案例不同于手工測(cè)試案例，自動(dòng)化測(cè)試案例的編寫(xiě)更機(jī)械化、細(xì)致化。在編寫(xiě)案例過(guò)程中著重于從框架執(zhí)行的角度，同時(shí)也依賴(lài)于手工測(cè)試回歸案例。自動(dòng)化的測(cè)試案例的要求是覆蓋于手工回歸案例，又不僅限于手工回歸案例。

    （五）評(píng)價(jià)自動(dòng)化測(cè)試的作用

    對(duì)于實(shí)施了自動(dòng)化測(cè)試的直銷(xiāo)項(xiàng)目，形成了以下3點(diǎn)的評(píng)價(jià)：（1）縮減單個(gè)項(xiàng)目測(cè)試時(shí)間。（2）提升系統(tǒng)整體測(cè)試效率。（3）因成本問(wèn)題并不是所有項(xiàng)目都適用。隨著自動(dòng)化測(cè)試的逐步深入，自動(dòng)化測(cè)試的作用也越來(lái)越顯著，并得到了各方的支持與認(rèn)可。

    三、問(wèn)題與解決

    自動(dòng)化測(cè)試實(shí)施的初期遇到過(guò)很多問(wèn)題和困難，比如前期調(diào)研不足，導(dǎo)致未正常獲取都需求相關(guān)文檔；以手工用例為基準(zhǔn)，導(dǎo)致高度依賴(lài)，產(chǎn)生了很多額外的工作量；部分子功能模塊手工用例數(shù)據(jù)不完整，自動(dòng)化同步不完整；業(yè)務(wù)知識(shí)理解或掌握不足；減少測(cè)試工作量的目標(biāo)及效果不是很明顯等。

    基于這些問(wèn)題，結(jié)合以往項(xiàng)目經(jīng)驗(yàn)，測(cè)試團(tuán)隊(duì)進(jìn)一步地熟悉了解系統(tǒng)相關(guān)業(yè)務(wù)，以便更精確地定位腳本開(kāi)發(fā)調(diào)試執(zhí)行過(guò)程中的問(wèn)題，豐富腳本數(shù)據(jù)、案例，加強(qiáng)與業(yè)務(wù)人員的溝通協(xié)助與配合機(jī)制，提高對(duì)工具的使用程度，最大程度地利用自動(dòng)化測(cè)試資產(chǎn)。豐富自動(dòng)化測(cè)試手段，不能只局限于自動(dòng)化測(cè)試工具的使用上，要隨著對(duì)系統(tǒng)的了解不斷加深，不斷地加強(qiáng)和完善自動(dòng)化實(shí)施和應(yīng)用策略。

    四、數(shù)字化轉(zhuǎn)型需求升級(jí)

    隨著應(yīng)用軟件市場(chǎng)APP化的全面推廣，我司APP需求占據(jù)越來(lái)越大的比重，APP相關(guān)的測(cè)試工作量也隨之激增，因此在測(cè)試過(guò)程中面臨著既要兼顧傳統(tǒng)PC端又要測(cè)試APP的問(wèn)題。

    在測(cè)試案例及回歸測(cè)試工作量增加到一定程度后，初期測(cè)試團(tuán)隊(duì)采用了selenium+python的框架來(lái)進(jìn)行APP的自動(dòng)化測(cè)試工作。由于都是基于開(kāi)源工具研發(fā)的框架，在自有測(cè)試人員有限的情況下，無(wú)法投入更多的人力在框架及腳本維護(hù)上，因此測(cè)試團(tuán)隊(duì)及時(shí)改變了策略，選用了外購(gòu)成熟的APP界面UI自動(dòng)化測(cè)試產(chǎn)品。經(jīng)過(guò)半年多的使用，APP自動(dòng)化測(cè)試的效果逐漸體現(xiàn)，主要體現(xiàn)在以下兩點(diǎn)：一是減輕了手工回歸測(cè)試的工作量，在一定程度上取代了手工回歸測(cè)試。二是彌補(bǔ)了手工測(cè)試受限于測(cè)試時(shí)間無(wú)法覆蓋到歷史版本的問(wèn)題。

    除了電商直銷(xiāo)APP測(cè)試外，我司的“添富小i”也使用了同一套APP自動(dòng)化測(cè)試體系。在使用了該套自動(dòng)化測(cè)試體系后，該APP的手工測(cè)試工作量也有所降低。

    在手工測(cè)試人員減少的情況下，2021年全年共計(jì)實(shí)現(xiàn)手工回歸用例替代1.2萬(wàn)余條，全年共計(jì)運(yùn)行版本共計(jì)1530+輪次，運(yùn)行腳本數(shù)量超過(guò)38萬(wàn)個(gè)。且隨著版本的更新，自動(dòng)化占比逐步提高，2021年累計(jì)發(fā)現(xiàn)手工不易發(fā)現(xiàn)的bug二百余個(gè)。此外跟隨我司APP發(fā)版節(jié)奏，在APP上線(xiàn)后1-2周內(nèi)實(shí)現(xiàn)自動(dòng)化，為下一個(gè)版本發(fā)布提供回歸自動(dòng)化支持。

    目前我司APP自動(dòng)化測(cè)試已建立DailyRun機(jī)制，即每日在凌晨12點(diǎn)至次日早上8點(diǎn)會(huì)在無(wú)人值守的情況下自動(dòng)執(zhí)行測(cè)試計(jì)劃。整體手工案例覆蓋率-增加回歸案例集后的橫向覆蓋率達(dá)到86%左右。部分項(xiàng)目手工測(cè)試人員也已參與執(zhí)行自動(dòng)化測(cè)試案例。

    自從數(shù)字化轉(zhuǎn)型需求升級(jí)以來(lái)，APP自動(dòng)化測(cè)試?yán)塾?jì)共覆蓋我司自研APP產(chǎn)品“現(xiàn)金寶”、“添富小i”共計(jì)63個(gè)版本，共實(shí)現(xiàn)Android&IOS腳本數(shù)量2.5萬(wàn)余個(gè)，共計(jì)運(yùn)行版本共計(jì)5000+多輪次，運(yùn)行腳本數(shù)量大于103萬(wàn)個(gè)。去除環(huán)境因素導(dǎo)致的運(yùn)行失敗，運(yùn)行成功率大于91%。共計(jì)實(shí)現(xiàn)手工回歸用例替代5萬(wàn)余條，腳本總體實(shí)現(xiàn)自動(dòng)化占比85%以上，且隨著版本的更新，自動(dòng)化占比還在逐步提高。

    在數(shù)字化轉(zhuǎn)型這條路上同樣遇到了不少問(wèn)題，比如單版本的腳本運(yùn)行時(shí)間在5-6個(gè)小時(shí)，運(yùn)行時(shí)間較長(zhǎng)；單版本的自動(dòng)化腳本數(shù)量近500個(gè)，維護(hù)成本越來(lái)越大；每個(gè)版本由于環(huán)境問(wèn)題導(dǎo)致的腳本運(yùn)行失敗占比在60%左右，不但影響腳本的運(yùn)行速度和運(yùn)行質(zhì)量，而且為事后的腳本分析增加了很大的干擾。面對(duì)以上問(wèn)題測(cè)試團(tuán)隊(duì)采取了增加端口、定時(shí)清理日志、新增一套自動(dòng)化測(cè)試環(huán)境、增加腳本運(yùn)行可運(yùn)行時(shí)間等措施。目前所有已知問(wèn)題都已經(jīng)得到了有效改善。

    注：[1]自動(dòng)化測(cè)試，本文中所有“自動(dòng)化測(cè)試”都指“自動(dòng)化功能測(cè)試”。利用GUI自動(dòng)化測(cè)試工具來(lái)開(kāi)發(fā)和執(zhí)行測(cè)試腳本，以此驗(yàn)證是否滿(mǎn)足規(guī)定的需求或識(shí)別出期望的結(jié)果和實(shí)際結(jié)果之間有無(wú)差別。[2]Excel報(bào)告，指“自動(dòng)化功能回歸測(cè)試報(bào)告”。描述對(duì)系統(tǒng)和系統(tǒng)部件進(jìn)行的自動(dòng)化功能回歸測(cè)試行為及結(jié)果的文件。[3]腳本，指“自動(dòng)化功能回歸測(cè)試腳本”。能夠被自動(dòng)執(zhí)行的自動(dòng)化功能回歸測(cè)試案例，它和一個(gè)自動(dòng)化功能回歸測(cè)試需求相對(duì)應(yīng)。[4]自動(dòng)化測(cè)試體系，指“自動(dòng)化功能回歸測(cè)試體系”。對(duì)給定的自動(dòng)化測(cè)試，就其建立、運(yùn)行和結(jié)果估計(jì)所作的詳細(xì)說(shuō)明。常常把一組有關(guān)的過(guò)程組織起來(lái)形成自動(dòng)化功能回歸測(cè)試過(guò)程文件。[5]自動(dòng)化回歸測(cè)試，本文中“自動(dòng)化回歸測(cè)試”都指“自動(dòng)化功能回歸測(cè)試”。選擇性的重新自動(dòng)化功能測(cè)試。利用GUI自動(dòng)化測(cè)試工具來(lái)開(kāi)發(fā)和執(zhí)行測(cè)試腳本，目的是通過(guò)檢測(cè)系統(tǒng)和系統(tǒng)部件在修改時(shí)所引起的故障，以此來(lái)驗(yàn)證上述修改未引起不希望的有害效果，證明修改后的系統(tǒng)和系統(tǒng)部件仍能滿(mǎn)足規(guī)定的需求。[6]冒煙測(cè)試，在某一版本build建立后，對(duì)系統(tǒng)的基本功能進(jìn)行簡(jiǎn)單的測(cè)試。這種測(cè)試強(qiáng)調(diào)功能的覆蓋率，而不對(duì)功能的正確性進(jìn)行驗(yàn)證。冒煙測(cè)試的對(duì)象是每一個(gè)新編譯的需要正式測(cè)試的軟件版本，目的是確認(rèn)軟件基本功能正常，可以進(jìn)行后續(xù)的正式測(cè)試工作。[7]環(huán)境，指自動(dòng)化測(cè)試執(zhí)行工作所需的環(huán)境，它包括手工測(cè)試環(huán)境，即自動(dòng)化測(cè)試被測(cè)系統(tǒng)環(huán)境和自動(dòng)化測(cè)試腳本運(yùn)行的相關(guān)環(huán)境，即自動(dòng)化測(cè)試運(yùn)行環(huán)境。