App測試革新者:Testin云測試破1000萬次
來自Testin云測試的消息,這家移動App真機自動化云測試服務的締造者與傳統(tǒng)人工測試的毀滅者,截至目前,已免費幫助全球移動互聯(lián)網(wǎng)開發(fā)者測試App應用達10,155,179次,并且這一數(shù)字每一秒都在不斷的增長。相對于傳統(tǒng)的人工測試,這一數(shù)字幾乎相當于一家大型外包測試公司10年的測試能力。據(jù)了解,這一成績是基于Testin全球首家部署于云端的真實智能終端環(huán)境結合自動化測試技術完成的,作為科技革新生產(chǎn)力的典范,其可靠性及權威性廣受App開發(fā)者追捧。
Testin云測試是由IDG VC投資的移動互聯(lián)網(wǎng)明星企業(yè),這家全球最大的App真機自動化云測試平臺,致力于通過科學技術創(chuàng)新來實現(xiàn)機器自動化測試代替原始手工測試。Testin成立于2011年,同年率先推出了針對性解決Android系統(tǒng)碎片化帶給移動開發(fā)者困擾的高效率測試解決方案,免費面向世界范圍內(nèi)的移動互聯(lián)網(wǎng)開發(fā)者提供7x24自動化真機App測試的云服務,目前也全面支持iOS自動化測試。Testin云測試服務是一個不限地域、不限時間、不限資源的Global服務,通過其構建3000部設備的“終端云”,結合真機自動化測試技術,幫助移動 App 開發(fā)者針對其需求測試的真實智能終端設備,對 App 進行全自動化、多批次、可復現(xiàn)的“App兼容測試”、“App性能測試”及“App功能測試”,以替代古老的人工測試模式,減少開發(fā)者大量重復、枯燥的人工測試工作,節(jié)省適配終端的租用、購買成本,同時最大化縮短測試周期,以有質(zhì)量保障的產(chǎn)品姿態(tài)快速迭代。
由于App測試是產(chǎn)品發(fā)布前必須進行的質(zhì)量檢驗環(huán)節(jié),而且是一種重復度極高的工作,要配合大量的測試終端,App開發(fā)者需要投入不菲的測試人員、測試時間以及測試終端的購買或租賃。一方面購買測試終端成本極高,一方面?zhèn)鹘y(tǒng)的人工測試效率低下,導致App開發(fā)完成以后需要消耗較長的測試時間,這對于崇尚快速迭代的移動互聯(lián)網(wǎng)來說往往意味著喪失搶占市場先機的機會,以正在使用Testin云測試的“保衛(wèi)蘿卜”“割繩子”等等流行應用舉例,過去他們的測試團隊,要在不同的終端上、不斷重復一個游戲動作成百上千次,以尋求游戲的穩(wěn)定無錯,這一定不是享受、而是折磨,對企業(yè)發(fā)展無益。采用Testin云測試的方案,App開發(fā)者可以將測試人員及設備成本降至幾乎為零,而自動化測試技術則可以將測試周期壓縮至最低。開發(fā)者要做的只是打開Testin云測試網(wǎng)頁,上傳其測試包便可坐等標準化制式的專業(yè)報告。
圖:Testin真機自動化云測試服務使用前后對比
Android平臺碎片化使得移動開發(fā)者的App應用與終端適配帶來普遍問題,應用與終端適配性降低、程序經(jīng)常崩潰等問題讓用戶投訴不斷,對測試人員而言,智能終端的多樣性大大增加了研發(fā)和測試成本,測試周期。在資金和人力緊張的情況下,要保證測試的準確完整性很難,絕大部分的App產(chǎn)品都不能保障自己的產(chǎn)品可以覆蓋到每一款智能手機, Testin將測試這一工作實現(xiàn)了自動化云交付,全球任何一個開發(fā)者都可以像使用自來水一樣方便快捷地使用Testin的免費的真機自動化測試服務。這是一個改變效率的創(chuàng)新,可以幫助開發(fā)者提升測試效率、節(jié)省成本、快速鎖定問題,解放測試人員對大批量終端的重復機械化測試所消耗的時間,使得開發(fā)者可節(jié)省大量時間將工作投入到App產(chǎn)品的創(chuàng)意設計等方面。
云測試是如何工作的?
“真機”測試:全球最大的“終端云”
許多App開發(fā)者之所以面對Android測試困擾重重,一個癥結在于沒有足夠的資金購買大量終端來調(diào)試自己的應用與終端的兼容和匹配,通常的做法就是在Android系統(tǒng)自帶的模擬器上進行演示和測試,這種測試的結果十分不理想,目前許多終端商都會在Android原生態(tài)系統(tǒng)上進行二次開發(fā),加入大量個性化的功能 ,而模擬器缺少的是不同硬件廠商底層的交互,這些因素都會讓App在模擬器上的測試效果不盡人意。Apple測試負責人曾說,1萬次模擬器測試不如一次真機測試,Testin云真機測試比模擬器更接近用戶實際使用情況。
據(jù)介紹,Testin真機自動化云測試平臺構建了目前為止全球最大的智能“終端云”,覆蓋Android/iOS兩大平臺所有主流設備,主流的操作系統(tǒng)版本;共300款3000多部主流的Pad、Phone、Smart TV等智能移動設備,也覆蓋了市面上用戶量大,但不易采購的稀缺熱門機型。全球任意地區(qū)移動開發(fā)者均可通過云端來使用所有這些設備進行App應用的自動化兼容適配測試。
圖:Testin云測試真機展示
有些App開發(fā)者確實也是在真機上進行測試,但測試終端數(shù)量遠遠不夠,一方面資金成本很大,并且無限制購買測試終端也會帶來資金浪費。即使依靠租賃來完成App的后期測試,成本也相當昂貴,因為還需要再投入測試人員,效率也十分低下。Testin云測試這項免費服務,對于開發(fā)者來說這是一筆非常不小的資金節(jié)??!
“自動化測試”:解放測試人員
在標準化的移動App測試工作中,Testin云測試所做的是App開發(fā)者發(fā)布產(chǎn)品前的最后一道工序,是不涉及代碼的黑盒測試。移動App開發(fā)者所要做的僅僅是在Testin云測的網(wǎng)站平臺,上傳自己的App安裝包,根據(jù)智能手機系統(tǒng),系統(tǒng)版本、品牌、分辨率或者屏幕尺寸選擇想要測試的智能移動設備,平臺接到任務請求后,自動連接部署的真機終端,Testin自動化測試系統(tǒng)就會開始進行測試作業(yè)。Testin基于真機自動化云測試目前面向Android/iOS兩大系統(tǒng)領域的開發(fā)者提供“App兼容適配測試” ,“App性能測試”及“App功能測試”等三大服務。
“App兼容適配測試”
開發(fā)者上傳App測試包以后,Testin真機自動化平臺將分別進行應用安裝卸載測試、應用遍歷測試、應用運行穩(wěn)定性測試、應用UI適配測試,在測試過程中,自動化的測試App在指定的真實終端設備上是否可正常安裝、啟動、卸載,自動識別App可執(zhí)行功能,在測試周期內(nèi)遍歷App不同功能界面,同時檢驗App的UI界面與目標終端的屏幕是否適配,是否存在渲染失敗、錯位、黑邊框、黑白屏等現(xiàn)象,最終通過截圖記錄操作路徑,輸出日志、定位異?,F(xiàn)象,準確定位錯誤原因。
圖:一份App兼容適配測試網(wǎng)頁報告
“App性能測試”
性能測試主要檢驗App在實際用戶使用環(huán)境下的系統(tǒng)資源消耗情況,主要包括:應用啟動性能,檢測App在所有測試的真實終端上首次啟動時間,并計算其差異化;應用RAM、CPU耗用性能,檢測App在所有測試終端上運行時不同時段占用RAM、CPU情況;應用流量耗用性能,檢測App在所有測試的終端上運行時網(wǎng)絡流量消耗情況;電池性能,檢測App在終端上運行時,對終端的電池溫度等性能指標的影響情況。
以下為實體App性能測試報告部分截圖:
圖:性能測試中的CPU占用率與內(nèi)存測試報告
“App功能測試”
全方位支持流行的Robotium、Athrun等測試框架編寫的自動化測試腳本云測試平臺執(zhí)行。支持上傳自定義測試腳本,結合Testin云測試平臺的真實智能終端設備進行腳本校驗,云測試報告中呈現(xiàn)測試過程出現(xiàn)的BUG并提供重現(xiàn)場景。自動執(zhí)行結果判定,比對用例的測試結果,定位錯誤及反饋報錯原因,輸出準確的報告及日志分析。
對于沒有編寫測試腳本能力的開發(fā)者,Testin于2012年推出了一個全球唯一同時支持Android/iOS的移動應用真機自動化錄制回放云測試工具iTestin,目前支持功能測試、性能測試、穩(wěn)定性測試、壓力測試。支持Pad/Phone/Smart TV等智能終端設備,iTestin可以基于真實的智能終端設備錄制應用測試用例,記錄操作行為,生成測試腳本,在終端設備上反復回放并記錄回放結果,自動返回包括錯誤屏幕截圖、Log日志,用例判定的詳細測試報告;可結合Testin云測試平臺3000多部終端批量驗證功能點,幫助開發(fā)者快速找到錯誤原因,提升應用質(zhì)量。
圖:UI適配報告
在一個完整的測試任務中,Testin會以加密的方式將所有的應用測試過程全部的方式記錄下來,每一處BUG附有日志、截圖、操作過程、網(wǎng)絡環(huán)境、配置文件等詳細數(shù)據(jù)記錄,最終生成一個包含報警和錯誤的Log日志(測試的記錄文件)和一份規(guī)范化的測試報告提供給開發(fā)者及測試人員,而這些完全不需要人工參與。
“云測試”:云計算服務典范
Testin云測試的最終計算單元是分布在不同地區(qū)、網(wǎng)絡的真實測試終端。Testin的在線云端測試通過一套分布式管理體系,將待測的App產(chǎn)品按照任務需求,分配到這些測試終端。開發(fā)者完全不用下載任何客戶端,只要在線選擇需求測試的目標終端,就可以將自己的應用提交到分布在不同真實終端執(zhí)行自動化測試。無論身處全球的任何哪個角落,都可以使用,在辦公桌前通過Testin的平臺進行本地、甚至全球任何地區(qū)、網(wǎng)絡的不同終端的App系統(tǒng)測試。Testin云測試將云時代的產(chǎn)物嫁接到了自己的服務中來,讓開發(fā)者零成本的解決了其應用測試困擾!