Bilgisayar Mühendisleri Portalı

Yazılım testi denildiğinde OOP programcıları olarak aklımıza sadece Unit (birim) testi gelir. Daha doğrusu, sınıfları geliştirir, birim testlerini yapar (XP’ci arkadaşlar tam tersini yaparlar bu arada) keyfimize bakarken, kadrosu test mühendisi olan arkadaşların yoğun bir şekilde çalışmalarına kıs kıs güleriz. Bu yazıda test mühendisi arkadaşların neden bizler kadar rahat olamadıklarını inceleyeceğiz.
Kritik sistemler üzerinde çalışan yazılımların test edilmesi neredeyse bu sistemler için yazılım yazılması kadar eskidir. Ancak, endüstriyel yazılımlar için test metotlarının geliştirilmesi ya da başka bir deyişle, kritik sistemler için kullanılan test metotlarının endüstriyel yazılımlar için uygulanması özellikle 90’ların ikinci yarısından sonra tam anlamıyla başlamıştır. 2000’li yıllara girildiğinde dünyayı kasıp kavuran güvenlik kaygıları ile güvenilir yazılım geliştirmenin önemi net şekilde görülmüştür. Hatta şimdi adını hatırlayamadığım ünlü bir üniversitenin yazılım mühendisliği programının başındaki bir profesör, ortaya çıkan karmaşanın nedenini “bizim hatamız, güvenlikten bihaber yazılımcılar yetiştirmektir” şeklinde özetlemişti.
Peki, yazılım nasıl test edilmelidir? Yaptığımız birim testleri yazılımın güvenilir olmasını sağlamakta mıdır? Sezgisel olarak sorunun cevabı “hayır”dır. Bunu vurgulayan en güzel ve en yaygın örnek Fransızların Ariane V füze faciasıdır. Özet olarak şöyle: Ariane V füzesi, Ariane IV füzesini temel alarak geliştirilmiş, ancak daha fazla yük taşıyabilen daha büyük bir füzedir. Füze fırlatıldıktan belirli bir süre sonra kontrolden çıkar ve infilak eder. Nedeni SRI isimli açı ve hız ölçen bilgisayar sisteminin yazılımının Ariane IV füzesindekinin aynısı olmasıdır. Yazılım daha önce test edilmiş olduğu için bir daha test edilmemiştir. Yani Bileşen seviyesinde SRI yazılımının testleri yapılmış, ancak yeni bir platforma konulduğu için diğer sistemler ile etkileşimi test edilmemiştir. Bu nedenle oluşan bir Operand Error yüzünden SRI kendisini kapatmış ve kaza gerçekleşmiştir. Bu kıssadan çıkartılacak hisse, sistemi oluşturan yazılım bileşenlerinin kendi doğrulamalarının yanı sıra sistemin bütünleştirilmesi de doğrulanmalıdır. İşte test mühendisi arkadaşların özellikle yaptıkları iş budur.
Sistem testinin iki temel amacı vardır. Birincisi, sistemin bütünleştirildiğinde oluşan/ortaya çıkan hataları tespit etmek; ikincisi, sistemin beklenildiği gibi çalıştığından emin olmak. Birinci durum için sisteme hatalı veya sınır dışı girdiler vererek sistemin davranışları gözlenmelidir. İkinci durumda ise yapılacak olan, sistemin her işlevsel isteri için bir test kümesi oluşturmaktır.
Araştırmalar yazılımda ortaya çıkan hataların büyük çoğunluğunun bütünleştirme sürecinde ortaya çıktığını göstermektedir. Yani, yazdığımız kodlar (sınıf veya bileşenler olarak) tek başlarına doğru çalışmakta, ancak bir araya getirdiğimizde, ortaya çıkan sistem veya alt-sistemler hata oluşturabilmektedir.
Sistem testi iki kısımdan oluşabilir. İlk olarak yazılımı geliştiren ekipteki arkadaşlar yazılım bileşenlerini birleştirirken her adımda test yaparlar. Burada hemen şunu vurgulamak istiyorum. Çoğu durumda sistem bileşenleri karmaşık ara yüzler ile etkileşim sağlarlar ve burada oluşan hataları tespit etmek maliyetli olabilir. Dahası, sıkça kullanılan kara-kutu test yöntemi ile oluşan hatanın nedeni çok daha zor anlaşılabilir. Bunun üstesinden gelmenin etkili bir ilacı yoktur, dolayısıyla yapılabilecek olan şeylerden birisi, regresyon testini kullanmak (ki NUnit ile bunu otomatik olarak yapabiliyoruz) diğeri de risk yönetimi ile test kümesini belirlemektir.
Burada aklımıza hemen şu soru gelir: sistemleri nereye kadar test edeceğiz? Microsoft, temel yazılım süreçleri bütçesinin %85’ini test için harcadığını söylüyor. Bu, test sürecinin
ne kadar pahalı bir süreç olduğunu göstermektedir. Öte yandan, yazılım mühendisliğinin babası Dijkstra, “Test etmek sadece hataların var olduğunu gösterir, yok olduklarını değil” diyerek mümkün olduğu kadar çeşitli testlerin yapılması gerektiğini söylemektedir. Bu orantı durumunun optimum noktası nasıl bulunur?

Yukarıdaki risk analiz matrisinde, risk durumları, oluşma ve hasarlarına göre bir katsayı oluşturmaktadır. Daha sonra her bir risk durumu için geliştirilen test kümeleri kolonu verilmiştir. En yüksek 20 katsayıyı oluşturan risk durumlarının test kümeleri gerçeklenir. Risk durumlarının oluşma olasılıklarını ve vereceği hasarı belirlemek için geliştirme ekibi ve müşteri arasında bir anket düzenlenebilir. Kalanlarının gerçekleşmemesi için de nazar boncuğu asılır.
Bu yazımda test mühendisi arkadaşların sorunlarına değinmeye çalıştım. Dahası, yazılım testinin detaylarına inildikçe bu arkadaşlarımızın omzuna ne kadar yük bindiği daha iyi anlaşılabilir. Yazılımın geliştirme kısmında bulunan arkadaşlara önerim, yazılımlarımızın birim testlerini ve dokümantasyonunu eksiksiz yapmaya çalışalım, çünkü bundan kaynaklanacak hataları test mühendisi arkadaşlar yakalayamayabilir ve hatta yakalasa bile düzeltmek bize çok daha maliyetli olabilir. Tekrar görüşmek üzere…