Üniversitelerde eğitimin niteliğini artırmanın yollarından biri program geliştirmenin kuram ve ilkelerine uygun şekilde geliştirilen eğitim/öğretim programlarıdır. Yükseköğretim kademesinde bu konunun önemini vurgulayan pek çok çalışma yapılmış ve yapılmaya devam etmektedir (Parsons, 2012; Barnett & Coate, 2005; Bastedo, 2011; Fung, 2017; Hyun, 2006; Khan & Law, 2015; OECD, 2008; Spencer, Matthew, & Bernadette, 2012). Eğitim programları; toplumun gelişmişlik düzeyini, kültürel mirasını ve iş-sosyal yaşam için gerekli eğitimsel gereksinimleri yansıtması (OECD, 2008); bilgiye ulaşmayı, bilgiyi üretmeyi öğretme ve kendi alanlarında uluslararası düzeyde rekabet edebilecek yeteneklere sahip bireyler yetiştirme görevlerini gerçekleştirmesi (Kalaycı, 2008) açısından önemlidir. Ayrıca yükseköğretim bağlamında artan rekabet ortamına uyum sağlamak, diğer üniversitelerden farklılaşarak var olmak ve başarı sıralamalarında üst seviyelerde yer almak isteyen üniversiteler, eğitim programı geliştirme çalışmalarına öncelik vermektedir. Pek çok yabancı üniversitede eğitim programları konusunda geniş çaplı projeler uygulanmaktadır (Kandiko-Howson, 2010; SUES, 2012). Ancak Türk yükseköğretim sisteminde bu konuya verilen önem sınırlı kalmakta, özellikle uygulamalarda istenilen düzeye ulaşılamamaktadır.

Eğitim programlarının yukarıda açıklanan önemi, yükseköğretim kademesinde başarı üzerine yapılan vurgunun artması (Wolf, Cristensen, Svinicki, & Rice, 2007) ve diğer pek çok gelişme, program geliştirme çalışmalarının sistematik bir şekilde yapılmasını zorunlu kılmıştır. Yükseköğretimde program geliştirme, ön lisans/lisans/lisansüstü programlara basitçe bir dersin eklenmesi/çıkarılmasından daha kapsamlı ve ayrıntılı bir süreçtir. Program geliştirme kuram ve ilkelerine göre bu sürece yeni geliştirilecek programa ilişkin ihtiyaç analizinin yapılması veya uygulanmakta/uygulanacak olan programın değerlendirilmesiyle başlanılmalıdır. Değerlendirme (“evaluation”) kavramının Latince köklerinin “güçlendirmek (“to empower”)” veya “sağlamlaştırmak” (“to strengthen”) olduğuna ilişkin yapılan yorumlara (Gitlin & Smyth, 1989) dayalı olarak program değerlendirme; mevcut-yeni geliştirilecek olan programları daha güçlü/sağlam hale getirme çalışmaları olarak düşünülebilir. Bu düşünceyi destekler nitelikte 1950’lerde ortaya çıkan ürün (Tyler, 1950), 1970’lerde süreç (Stenhouse, 1975) ve yine aynı yıllarda sistem (Doğan, 1975; Kashyap, 1979; Rowntree, 1974) yaklaşımları, program değerlendirme ile program geliştirmeyi birbirini tamamlayan ögeler olarak kabul etmektedir. Bu görüş, program geliştirme yerli literatürde de yaygın olarak kabul görmektedir (Bilen, 1999; Ertürk, 1975; Gözütok, 2006; Uşun, 2013; Varış, 1988).

Literatürde, yükseköğretimde eğitimin niteliğinin artırılmasını sağlayan ve hem etkili bir düzey belirleme, hem de program geliştirme aracı olan program değerlendirmeye ilişkin çok farklı ve karmaşık tanımlar yer almaktadır (Worthen & Sanders, 1973). Bu tanımlarda çoğunlukla değerlendirilecek olan şey ile bunun değerlendirilecek olan özelliği-boyutu ve değerlendirme kavramıyla kast edilen şey açıklanmaktadır (Tablo 1):

Büyütmek İçin Tıklayın

Tablo 1: Program Değerlendirme İle İlgili Tanımların Analizi

Program değerlendirme; kapsamlı bir metodolojik uzmanlık alanı (Shadish, Cook, & Leviton, 1991); bir trans disiplin, bir diğer ifadeyle mantık, tasarım, istatistik gibi bir araç disiplini; kendi içerisinden kendine özgü bir disiplin olma özerkliğini göstermesi yanında araştırma ve ortaya çıkartma çabası sarf edilirken kullanılan bir araç (Scriven, 1983); bir meslek alanı (değerlendirme yapan kişiyle müşterileri-değerlendirmeyi yaptıran kişiler- arasındaki ilişkiden dolayı) (Fitzpatrick, 1999) olarak kabul edilmektedir. Nasıl tanımlanırsa tanımlansın/nasıl adlandırılırsa adlandırılsın program değerlendirme önemli bir sosyal güç, profesyonel bir uygulama alanı ve kendi literatürü, hazırlık plan ve programları, uygulama standartları ve mesleki kuruluşları olan profesyonel bir uzmanlık alanıdır (Fitzpatrick, 1999).

Program değerlendirme, yalnızca eğitim bağlamı içerisinde yer alan sınırlı bir kavram/uygulama değildir. Herhangi bir ülkede seçimlerde gerçekleştirilen kampanya, bir alışveriş merkezinin düzenlediği yeni yıl etkinlikleri, bir üniversitede düzenlenen bahar şenlikleri, bir bankanın çalışanları için düzenlediği sosyal/ kültürel faaliyetlerde olduğu gibi belirli bir amaç, bu amaca uygun farklı yöntemlerle gerçekleştirilen işlemler varsa değerlendirme de yapılmalıdır.

Program değerlendirme, programın uygulanma sürecinin etkililiği hakkında yargıda bulunmak (Erden, 1998; Klenowski, 2010; Marsh & Willis, 2007) ve programın değerini/yeterliğini ortaya koyarak (Scriven, 1983) program geliştirme sürecine veri sağlamak (Demirel, 2016; Erden, 1998; Sağlam & Yüksel, 2007) amacıyla gerçekleştirilmektedir. Program değerlendirme, yalnızca öğrenci başarısının bir diğer ifadeyle sınıfta gerçekleştirilen öğrenme-öğretme sürecinin değerlendirilmesi değildir (Fu, 2016), daha kapsamlıdır. Bu konuda var olan genel yargı/yanılgı öğretim elemanlarının program değerlendirme konusunda zihinlerinin karışmasına ve program geliştirme çalışmalarının yanlı yönlendirilmesine neden olmaktadır (Fu, 2016).

Program Değerlendirmenin Kısa Tarihsel Gelişimi, Felsefesi ve Modelleri
Eğitimden farklı ve çok çeşitli bağlamlarda da uygulanan program değerlendirme, oldukça uzun bir geçmişe sahiptir. M.Ö. 2000’li yıllarda Çinli memurların seçimine yönelik yapılan sınavlar, Sokrates gibi Antik Yunan filozoflarının öğrenme süreçlerini sözlü olarak değerlendirmesi, Amerika Birleşik Devletleri (ABD)’nde Joseph Rice’ın 1897 – 1898 yıllarında 33 bin öğrenci ile yaptığı okuma performansını değerlendirme çalışmaları, 1930’larda Tyler ve Smith tarafından yapılan “Sekiz Yıl Çalışması” (“The Eight Year Study”) (Kumral & Saracaloğlu, 2011) program değerlendirme alanındaki çalışmaların ilk örnekleri olarak kabul edilebilir. 1960’lı yıllara gelindiğinde ise Kanada, Almanya ve İngiltere’de; 1970’lerden sonra da diğer Avrupa ülkelerinde sistematik olarak program değerlendirme çalışmalarının gerçekleştirildiği ve 1980-90’lı yıllarda bu alanda önemli gelişmelerin yaşandığı görülmektedir (Calidoni-Lundberg, 2006). Stufflebeam’in (2001) vurguladığı gibi 20. yüzyılda eğitim alanında artan uluslararası rekabet, pek çok kurumun kalite ve rekabet edebilirlik gibi konularda kendilerini kanıtlamak için değerlendirme yaptırmak zorunda kalmaları gibi etkenler ve yapılan bilimsel çalışmalar değerlendirmenin kuram/uygulamada gelişmesini/genişlemesini sağlamıştır.

Program değerlendirmenin felsefi temellerine göre program değerlendirme felsefeleri, nesnelci (“objectivist”) ve öznelci (“subjectivist”) ile çoğulcu (“plüralist”) ve faydacı (“utilitarian”) olmak üzere iki ana gruba ayrılmaktadır (Aygören & Er, 2018). Nesnelci değerlendirme felsefi anlayışı, tekrarlanabilen ve genellenebilen gerçeklere dayanmaktadır (Fitzpatrich, Sanders &Worthen, 2004). Öznelci değerlendirme felsefi anlayışı ise, daha çok tecrübeye dayanan özellikleri ve uygulamaları temel almaktadır. Bu anlayış, bilginin doğrudan birincil kaynaktan elde edilmesi gerektiği görüşüne dayanmaktadır. Faydacı değerlendirme felsefi anlayışı, toplumların genel faydası için bir yargıda bulunmayı amaçlamaktadır (House, 1990). Çoğulcu değerlendirme felsefi anlayışı, programın her bir birey üzerindeki etkisini değerlendirme fikrine dayanmaktadır. Çoğulcular, her bir bireyin menfaatini düşünürken, faydacılar toplumun/ genelin menfaatini düşünmektedir.

Program değerlendirmenin tarihsel gelişimi ve felsefi dayanaklarında gözlenen farklılıklar; program değerlendirme alanında farklı türden yaklaşım ve modellerin ortaya çıkmasında etkili olmuştur. Program değerlendirme türleri iki ana grupta incelenebilir (Weir & Roberts, 1994; Nation & Macalister, 2010). Biçimlendirici (“formative”) değerlendirme, programın geliştirilme/ uygulanma sürecinde iyileştirilmesini amaçlamaktadır. Özetleyici (“summative”) değerlendirme- literatürde “düzey belirleyici veya yargısal” olarak da adlandırılmaktadır- ise bir tür genel değerlendirme ile programın etkili olma derecesini belirlemeyi ve program hakkında son bir yargıya varmayı amaçlamaktadır (Tyler, Gagne, & Scriven, 1967). Program değerlendirme yaklaşımı veya modelleri ise farklı şekillerde gruplandırılmakta ve adlandırılmaktadır. Program değerlendirme çalışması yapacak olan kişiler, hangi değerlendirme yaklaşımını veya modeli kullanacaklarına karar verirken; bunların nasıl uygulanacağını, güçlü ve zayıf yanlarının neler olduğunu (Shadish, Cook, & Leviton, 1991), değerlendirmenin amacını, benimsedikleri felsefeyi, uygulanan programın niteliğini ve kendisine sağlanan olanakları dikkate almalıdır.

Uşun (2008), literatürde 36 farklı değerlendirme yaklaşımı veya modelinin yer aldığını belirlemiştir. Bu yaklaşımlar veya modeller, program değerlendirme alanında çalışma yapanlar tarafından farklı şekillerde sınıflandırılmıştır (Ertürk, 1998; Fitzpatrick, Sanders & Worthen, 2004; Stufflebeam, 2001). Örneğin, Fitzpatrick, Sanders ve Worthen (2004) Avrupa ve ABD’de yaygın olarak kullanılan değerlendirme modellerini hedef, yönetim, müşteri (tüketici), uzmanlık, rakip ve katılımcı yönelimli olmak üzere altı değerlendirme yaklaşımı altında sınıflandırmıştır. Bu çalışmada, hedef yönelimli değerlendirme yaklaşımı altında yer alan Provus’un farklar modeli ile yönetim yönelimli değerlendirme yaklaşımı altındaki Kirkpatrick’in dört aşamalı değerlendirme modeli temel alınmıştır. Bu iki modelin seçilme nedenlerinden biri diğer modellere göre, özellikle yükseköğretimde program değerlendirme ile ilgili yapılan araştırmalarda daha az kullanılmasıdır. İlhan (2018) tarafından yapılan incelemede 1987-2017 yılları arasında hazırlanan yükseköğretimde program değerlendirme ile ilgili 41 doktora ve yüksek lisans tezinin hiçbirinde bu iki modelin kullanılmadığı belirlenmiştir. Ayrıca bu çalışmaya Kirkpatrick’in dört aşamalı değerlendirme modelinin dahil edilmesinin diğer bir nedeni de, Yükseköğretim Kurulu (YÖK) Ulusal Tez Merkezi Veri Tabanına göre bu modelin yaygınlıkla hizmet içi eğitim programları gibi kısa süreli programların değerlendirilmesinde kullanılmasıdır (Ardahan-Sevgili, 2017; Çam, 2018; Sadıq, 2017; Yiğit, 2016). Oysaki bu model, farklı alanlarda ve eğitim kademelerinde kullanılabilir: Modelin, yabancı literatürde yükseköğretimde program değerlendirme çalışmalarında da yaygın olarak kullanıldığı görülmektedir (Moldovan, 2016). Çalışmaya Provus’un farklar modelinin dâhil edilmesinin bir diğer nedeni ise, YÖK Ulusal Tez Merkezi Veri Tabanına göre bu modelin yalnızca iki doktora tezinde, ortaöğretim düzeyindeki program değerlendirme çalışmalarında kullanılmış olmasıdır (Babacan, 2016; Berk, 2012). Oysaki farklar modeli, programların hem geliştirilirken, hem de uygulanırken değerlendirilmesine; böylelikle de zamanında ve doğru kararların alınmasına olanak sağlayan etkili bir modeldir (Buttram & Cavert, 1978). Bu nedenlere dayanarak dört aşamalı değerlendirme ile farklar modellerinin nasıl kullanılacağını ayrıntılı bir biçimde gösteren tasarımlar hazırlanmıştır.

Program Değerlendirme Sonuçlarının Kullanımı
Program değerlendirme sonuçları hedef kitlenin gereksinimlerine cevap verecek şekilde düzenlenmeli ve sunulmalıdır. Böylece bu sonuçların faydalı/kullanışlı (Sanders, 2000) olması ve program değerlendirmenin eğitimin niteliğini artırma işlevini gerçekleştirmesi sağlanabilir. Değerlendirme sonuçlarının nasıl kullanılacağına ve sonuçların kullanım türlerinin adlandırılmasına ilişkin tartışmalar 1970’ten bu yana devam etmektedir (Johnson et al., 2009). Alkin ve Taut (2003), program değerlendirme sonuçlarının iki farklı kullanım türünü açıklamıştır:

(a) Süreç kullanımı: Değerlendirme çalışmaları devam ederken ulaşılan ara sonuçlar kişilerin düşünce/davranış; kurumların ise yaptıkları işlemler ve kurum kültürü açılarından değişmesine neden olabilir (Alkin & Taut, 2003). Bu kullanım türü, değerlendirme sonuçlarının süreçte kullanılması olup, biçimlendirici (“formative”) değerlendirme türü ile ilişkilendirilebilir.

(b) Sonuç kullanımı: Değerlendirme çalışmaları tamamlandıktan sonra ulaşılan sonuçların aşağıda sunulan üç amaçtan birini gerçekleştirmek için kullanılmasıdır (Johnson et al., 2009; King & Pechman, 1984; Leviton & Hughes, 1981) ve yargısal (“summative”) değerlendirme türü ile ilişkilendirilebilir. Sonuç kullanımına uygun olacak şekilde değerlendirme sonuçları;

1. Mevcut program, proje, personel ve politikayı değiştirmek, geliştirmek veya sona erdirmek (araçsal kullanım),
2. Eğitim politikalarındaki sorunlara/çözümlere yeni bir bakış açısı getirmek ve mevcut anlayışı değiştirmek (kavramsal kullanım),
3. Var olan uygulamaları haklı çıkarmak, ilgilileri bazı konularla ilgili ikna etmek ya da politik değişiklikleri ertelemek (sembolik kullanım) için kullanılabilir.

Yükseköğretimde Program Değerlendirme Çalışmaları
Yükseköğretimde program değerlendirme çalışmaları; üniversitelerde eğitim-öğretimden sorumlu merkezler, program geliştirme-değerlendirmeden sorumlu daimi birimler, bölüm içinde oluşturulan geçici komisyonlar gibi iç değerlendiriciler ve/veya akreditasyon kurumları, bağımsız değerlendirme kuruluşları gibi dış değerlendiriciler tarafından gerçekleştirilebilir. Ayrıca bilimsel çalışmalar kapsamında araştırmacılar tarafından da yükseköğretimde uygulanan/uygulanacak olan programlar değerlendirilebilir.

Türk yükseköğretim sisteminde gerçekleştirilen program değerlendirme çalışmaları incelendiğinde bazı sınırlılıkların olduğu görülmektedir. Yükseköğretim Kurulu, Türk yükseköğretim sisteminde öğretimi planlamak, düzenlemek, yönetmek, denetlemek gibi yetki ve sorumluluklara sahiptir. Bu kapsamda Eğitim-Öğretim Dairesi Başkanlığı aracılığıyla yükseköğretim kurumlarında uygulanacak bazı çerçeve eğitim programları geliştirmektedir. Örneğin YÖK tarafından öğretmen yetiştirme lisans programlarında 2018 yılında program geliştirme çalışması olarak ifade edilen bazı düzenlemeler yapılmıştır. İlgili raporda, program geliştirme çalışmaları yapılırken komisyonların oluşturulduğu, alan taraması yapıldığı, çalıştaylar düzenlendiği ve böylelikle programların “güncellendiği” belirtilmektedir (YÖK, 2018). Bu raporda program değerlendirme kuram ve ilkelerine dayalı olarak bir program değerlendirme ve sonrasında geliştirme çalışmasının yapıldığına ilişkin açıklamaya yer verilmemiş; yalnızca öğretmen yetiştirme lisans programlarında öğrencilere sunulması gereken dersler, derslerin kredileri ve içerikleri belirlenmiştir. Diğer birçok fakültede ise eğitim programlarını buna bağlı öğretim programlarını geliştirme çalışmaları bölüm/ fakülte kurulları tarafından gerçekleştirilmektedir. Bu program çalışmalarından kasıt bilimsel yönteme dayalı bir geliştirmeden ziyade öğretim elemanlarının önerisi ile gerçekleştirilen programa ders ekleme ve çıkarma işlemleridir. Ancak program geliştirme, bir lisans programına derslerin eklenip çıkartılmasından daha kapsamlı, ayrıntılı ve zor bir süreçtir. Program geliştirme çalışmalarına, uygulanmakta olan programın değerlendirilmesi ile başlanmalıdır.

Benzer şekilde üniversitelerde sunulan eğitim-öğretim faaliyetlerine ilişkin açıklamalar incelendiğinde, kurum genelinde yürütülen kapsamlı program değerlendirme çalışmalarının yapıldığına ilişkin bir veriye ulaşılamamıştır. Yalnızca çok az sayıdaki üniversitede eğitim-öğretimden sorumlu birim tarafından (Üçer-Saylan, Sayers, & Alpar, 2016) veya bilimsel araştırma projeleri kapsamında (Durak, 2001) bazı program değerlendirme çalışmalarının yapıldığı belirlenmiştir.

Türk yükseköğretim sisteminde gerçekleştirilen program değerlendirme çalışmalarının büyük çoğunluğunun alan uzmanları tarafından yapılan araştırmalardan oluştuğu söylenebilir. Ancak bu araştırmalarla ilgili de pek çok sınırlılık tespit edilmiştir: İlhan (2018), 1987-2017 yılları arasında hazırlanan yükseköğretimde program değerlendirme ile ilgili 41 doktora-yüksek lisans tezinin yalnızca sekizinde belirli bir değerlendirme modelinin kullanılmış olduğunu ve çoğunda değerlendirme çalışmalarının yalnızca öğrenci görüşlerine dayandırılarak yapıldığını belirlemiştir. 2003-2014 yılları arasında yapılan tüm eğitim kademelerindeki program değerlendirme çalışmalarının incelendiği dört farklı araştırmada da program değerlendirme modelleri temel alınarak yapılan çalışmaların sayısının oldukça az olduğu sonucuna ulaşılmıştır (Aslan & Sağlam, 2015; Gökmenoğlu, 2014, Kurt & Erdoğan, 2015; Kürüm-Yapıcıoğlu, Atik-Kara, & Sever, 2016).

Değerlendirme çalışmalarıyla ilgili belirlenen bir diğer sınırlılık ise bu çalışmalarda yalnızca yeni yöntemlerin başarısının belirlenmeye çalışılması ve ulaşılan sonuçların kapsamlı olmayan bulgulara dayalı olmasıdır (Yaşar et al., 2005). Yüksel (2010) tarafından da aktarıldığı gibi Türkiye’de gerçekleştirilen program değerlendirme çalışmalarının veri toplama sürecinde çoğunlukla anketlerin kullanıldığı yönünde eleştiriler bulunmaktadır.

Yurt dışındaki üniversitelerde ilgili komisyonlar ve uzmanlar tarafından gerçekleştirilen program değerlendirme çalışmaları incelendiğinde ise benzer şekilde değerlendirme modellerinin işe koşulması ile ilgili sınırlılıkların olduğu görülmektedir. Pek çok çalışmada, yükseköğretimde uygulanan programlar değerlendirilirken herhangi bir değerlendirme modelinin kullanılmadığı belirlenmiştir (Allen, 2004; Allison et al., 2004; Diamond, 1998; Huba & Freed, 2000; Gilbert, 2004; Stevens, Lawrence & Sharp, 1996; MacNay, 2009; OAPA, 2001; Olds & Miller, 1998; Palomba & Banta, 1999, Rogers & Sando, 1996; Walvoord, 2004).

Yabancı literatürde de program değerlendirme çalışmalarında bazı sınırlılıklar yer almaktadır: Yükseköğretimde değerlendirmenin yalnızca öğrenci başarısını belirleme olarak algılanması (Spiel, Schober, & Reimann, 2006), program değerlendirme çalışmalarının sistematik olmaması, değerlendirme sonuçlarının kullanımında sorunlar yaşanması, ulaşılan verilerin kapsamlı olmaması (Henry & Mark, 2003; Scriven, 1997) gibi sınırlılıklar, bunlardan bazılarıdır.

Program değerlendirmeyle ilgili hem yerli, hem de yabancı literatürde ve uygulamalarda belirlenen bu sınırlılıklar farklı nedenlerden kaynaklanabilir. Bu nedenlerden biri program değerlendirme çalışmalarının herhangi bir program değerlendirme modeli temel alınmadan gerçekleştirilmesi olabilir. Bu durum yaklaşık 30 yıl önce Stenhouse tarafından ifade edilen program değerlendirme konusunda yetkili olanların “kendi sistemini yaratıp da bunu hatasız bir şeymiş gibi görme” yanılgısına (akt. Hopkins, 1989) düşme ihtimalinin günümüzde de geçerli olabileceği şeklinde yorumlanabilir.

Öte yandan program değerlendirme alanında özellikle yerli literatürdeki önemli kaynaklar incelendiğinde, bunların çoğunda program değerlendirme modellerinin yalnızca kuramsal olarak açıklandığı (Demirel, 2015; Ültanır, 2016; Yüksel & Sağlam, 2012), bazılarında ise bu modellerin uygulanma sürecine ilişkin çok sınırlı açıklamalara yer verildiği görülmektedir. Erden (1998) ise, program değerlendirmede kullanılan araştırma yöntemlerine, veri toplama araçlarına, verilerin analizinin ve yorumunun nasıl yapılması gerektiğine ilişkin bilgiler vererek diğer çalışmalara göre uygulamaya dönük nispeten daha çok açıklama yapmışsa da, bu açıklamalar herhangi bir değerlendirme modeliyle ilişkilendirilmemiştir.

Yükseköğretimde program değerlendirme çalışmalarında yukarıda belirtilen sınırlılıkların ortadan kaldırılabilmesi için program değerlendirme modellerinin nasıl işe koşulacağına ilişkin uygulamaya dönük bilgilerin ilgililere sunulması gerekmektedir. Yükseköğretimde eğitimin niteliğinin artırılması için atılması gereken öncelikli adımlardan biri de, uygulanmakta olan programların etkililiğinin belirlenmesi, bir diğer ifadeyle değerlendirilmesidir. Eğitim/öğretim programlarının nitelikli bir şekilde değerlendirilip, tekrar geliştirilmesi için program değerlendirme modellerinin kuramsal temellerinin kavranması, bu modeller temel alınarak çalışmaların itinalı bir şekilde tasarlanması, uygulanması ve bulguların ilgililere raporlanarak, sonuçların kullanılmasının sağlanması gerekmektedir.

Bu çalışma, yükseköğretimde önemi daha sık vurgulanmaya başlanan program değerlendirme sürecinde yapılması gereken işlemleri açıklamakta ve bu süreçte değerlendirme modellerinin nasıl kullanılacağını ayrıntılı bir biçimde gösteren tasarımlar sunmaktadır. Bu tasarımlar, yükseköğretimde eğitim-öğretimin niteliğini artırmaya yönelik çalışmalar yapan uzman, birim, komisyon ve merkezler tarafından eğitim/öğretim programları değerlendirilirken kullanılabilir. Geliştirilen tasarımların, bu konudaki uygulamalara doğrudan katkı sağlaması beklenmektedir. Ayrıca bu çalışmanın, program değerlendirme çalışmalarının nitelikli bir şekilde yapılmasına, buna bağlı olarak nitelikli eğitim/öğretim programlarının geliştirilmesine ve son aşamada yükseköğretimde eğitimin niteliğinin artırılmasına katkı sağlaması beklenmektedir.

Çalışmanın Amacı
Bu çalışmanın amacı, yükseköğretimde öğretim programlarını değerlendirme sürecinde gerçekleştirilebilecek işlemleri açıklamak ve bu süreçte kullanılabilecek program değerlendirme modellerine dayalı tasarımlar geliştirmektir. Çalışmada, yükseköğretimde öğretim programlarını değerlendirme sürecinde gerçekleştirilmesi önerilen işlemler açıklanmış, bu süreçte kullanılabilecek Kirkpatrick’in dört aşamalı ve Provus’un farklar değerlendirme modellerine dayalı iki farklı tasarım sunulmuştur.

Bu çalışmada geliştirilen tasarımlara ilişkin program geliştirme ve değerlendirme alanında çalışmalar yapan iki farklı uzmandan görüş alınmıştır. Uzman görüşünün alınması, çalışmanın iç geçerliliğine katkı sağlamıştır. Benzer çalışmalar yapmak isteyenlerin kullanımına imkân sağlayacak şekilde program değerlendirme modellerinin her biri için hazırlanan tasarımlar ve bu tasarımların dayanakları, ayrıntılı bir şekilde sunularak çalışmanın dış güvenirliği artırılmaya çalışılmıştır. Çalışmanın bu bölümünde açıklamalar iki temel başlık altında sunulmuştur:

Yükseköğretimde Öğretim Programlarını Değerlendirme Sürecindeki İşlemler
Yükseköğretimde öğretim programlarını değerlendirme süreci Tablo 2’de görüldüğü gibi ön hazırlık, planlama, uygulama ve sonuçlandırma olmak üzere dört aşamalı şekilde gerçekleştirilebilir. Bu çalışmada bu aşamalardan ön hazırlık, planlama (bir ve ikinci işlem basamakları) ve sonuçlandırma aşamaları iki farklı tasarım için ortak olarak açıklanmıştır. Planlama aşamasının üç, dört ve beşinci işlem basamakları ile uygulama aşaması ise çalışma kapsamına dâhil edilen iki farklı değerlendirme modeli için ayrı ayrı ayrıntılı bir şekilde açıklanmıştır (Tablo 3

Büyütmek İçin Tıklayın

Tablo 2: Yükseköğretimde Öğretim Programlarını Değerlendirme Sürecinde Gerçekleştirilmesi Önerilen İşlemler

ve Tablo 4).

Büyütmek İçin Tıklayın

Tablo 3: Kirkpatrick’in Dört Aşamalı Program Değerlendirme Modeline Dayalı Öğretim Programı Değerlendirme Tasarımı

Büyütmek İçin Tıklayın

Tablo 4: Provus’un Farklar Modeline Dayalı Öğretim Programı Değerlendirme Tasarımı

Büyütmek İçin Tıklayın

Tablo 4: Devam

Yükseköğretimde Öğretim Programları Değerlendirilirken Kullanılabilecek Program Değerlendirme Modellerine Dayalı Tasarımlar
Tablo 2’de açıklanan yükseköğretimde öğretim programlarını değerlendirme sürecinde kullanılması önerilen program değerlendirme modellerine dayalı olarak geliştirilen tasarımlar aşağıda sunulmuştur:

Kirkpatrick’in Dört Aşamalı Program Değerlendirme Modeline Dayalı Öğretim Programı Değerlendirme Tasarımı
Program değerlendirmenin amacının programın etkililiğini belirlemek ve daha etkili hale getirilmesini sağlamak olduğunu belirten Kirkpatrick, 1959 yılında dört aşamalı değerlendirme modelini geliştirmiştir (Kirkpatrick & Kirkpatrick, 2007). Model, yalın/sistematik olduğu ve uygulanması çok uzun zaman almadığı için kısa sürede bilinen/uygulanan bir model haline gelmiştir (Paul, Whitsed, & Girardi, 2016). Bu model, özellikle özel sektörde şirketlerin eğitim birimleri tarafından program değerlendirme çalışmalarında sıklıkla kullanılmakla birlikte farklı alanlarda ve eğitim kademelerinde uygulanmaktadır (Moldovan, 2016). Bu modelin, yükseköğretimde program değerlendirme çalışmalarında da uygulandığı görülmektedir (Abdulghani, et al., 2014; Arthur, Tubre, Paul & Edens, 2003; Chang & Chen, 2014; Moldovan, 2016; Praslova, 2010; Yardley & Dornan, 2012). Bu modelde program değerlendirme; dört aşamada gerçekleştirilmektedir (Kirkpatrick, 1998; Kirkpatrick & Kirkpatrick, 2007):

1. Tepki: Öğrenenlerin eğitim/öğretim programı hakkındaki düşünceleri belirlenmektedir. Programın etkili olabilmesi için öğrenenlerin olumlu tepki vermesi gerekmektedir. Programın değiştirilmesi ya da uygulamadan kaldırılmasına ilişkin kararlar öğrenenlerin tepkisine bağlı olarak verilebilir.

2. Öğrenme: Bu aşamada, uygulanan program sonucunda öğrenmenin ne ölçüde gerçekleştiği belirlenmektedir. Program değerlendirilirken; bilgi, beceri ve tutumlardan en az birinin öğrenilme durumunun belirlenmesi gerekmektedir.

3. Davranış: Öğrenenlerin davranışlarında program sonucunda meydana gelen değişiklikler belirlenmektedir. Davranış değişikliğinin belirlenmesi, karmaşık ve tepkinin-öğrenmenin belirlenmesine (ilk iki aşamaya) göre daha zordur. Bu aşamada; değerlendirmenin nasıl, kimlerle ve ne sıklıkta yapılacağına karar verilmesi gerekmektedir.

4. Sonuç: Programın kurumsal hedeflere ulaşılmasına ne ölçüde katkı sağladığı ve kurumun etkinliğini/başarısını artırıp artırmadığı değerlendirilmektedir. Bu aşamada; sonuçların ortaya çıkması için zaman tanınması, ölçmenin uygun zamanlarda tekrarlanması, maliyet-zarar karşılaştırılmasının yapılması, mümkünse ölçmenin hem program öncesinde, hem de sonrasında gerçekleştirilmesi gerekmektedir.

Tepki ve öğrenme aşamaları, program kapsamında sunulan eğitim faaliyetleri devam ederken gerçekleştirilmektedir. Davranış ve sonuç aşamaları ise eğitim faaliyetleri tamamlandıktan sonra öğrenmenin transfer edilip edilmediği belirlemek amacıyla uygulanmaktadır (Noe, 2009; Cömert, 2015). Yükseköğretimde öğretim programı değerlendirme sürecinde kullanılmak üzere bu modele dayalı olarak geliştirilen tasarım Tablo 3’de sunulmuştur:

Provus’un Farklar Modeline Dayalı Öğretim Programı Değerlendirme Tasarımı
Provus, değerlendirmeyi, sistem yönetimi kuramı ile birleştirmiş (Ornstein & Hunkins, 2004) ve farklar modelini geliştirmiştir. Bu modelde değerlendirme; programı ya da onun bir bölümünü iyileştirmek/düzeltmek için program standartlarını ve bu standartlar ile programın herhangi bir ögesinin performansı arasında fark olup olmadığını belirleme süreci olarak tanımlanmaktadır (Provus, 1983). Değerlendirmenin her aşamasında performans ve standartlar arasında belirlenen farkların rapor edilmesi sonucu alınacak kararlar; bir sonraki aşamaya geçmek, bir önce aşamayı kontrol etmek, programı yeniden başlatmak, performans ya da standardı değiştirmek veya programdan vazgeçmektir (Popham, 1975). Program değerlendirme; ilk dördü zorunlu olarak uygulanan, sonuncusu isteğe bağlı olan beş aşamada gerçekleştirilmektedir (Popham, 1975):

1. Tasarım: Belirlenen standartlarla programın tasarımı arasında fark olup olmadığı karşılaştırılmaktadır.
2. Uygulama (Oluşum): Programın sunduğu olanaklar, yöntemler, öğrenci davranışları değerlendirilmekte, program uygulaması ile ölçütler arasındaki fark belirlenmektedir.
3. Süreç: Programın uygulanma süreci; öğrenci ve öğretmenpersonel etkinlikleri, ilişkileri ve işlevleri temel alınarak değerlendirilmektedir.
4. Ürün: Hedefler dikkate alınarak değerlendirme yapılmakta, bu hedeflerin öğrenenler tarafından kazanılıp kazanılmadığı sorusuna cevap aranmaktadır.
5. Maliyet-Yarar Analizi: Programın çıktıları, uygulanmakta olan diğer programlarla karşılaştırılmakta, program maliyetin yanı sıra politik ve toplumsal değerler açısından da incelenmektedir.

Yükseköğretimde öğretim programı değerlendirme sürecinde kullanılmak üzere bu modele dayalı olarak geliştirilen tasarım Tablo 4’de sunulmuştur.

Bu çalışmada, yükseköğretimde öğretim programları değerlendirme sürecinde uygulanması önerilen işlemler açıklanmış ve değerlendirme sürecinde kullanılmak üzere Kirkpatrick’in dört aşamalı değerlendirme ile Provus’un farklar modellerine dayalı iki farklı tasarım hazırlanmıştır. Bu modellere dayalı olarak hazırlanan her bir tasarım, ilgili modelin her bir boyutunda/ aşamasında uygulanabilecek işlemler, işlemlerin gerçekleştirilmesini sağlayacak veri toplama yöntemleri, her bir yöntemde kullanılacak veri kaynakları, veri toplama araçları ve elde edilen verilerin analiz yöntemlerini içermektedir. Tasarımlarda yer alan açıklamalar, örnek niteliğindedir. Program değerlendirme modellerine dayalı olarak belirlenen işlemler temel alınarak ilgili diğer açıklamalar (veri toplama yöntemi, veri kaynağı, veri toplama araçları ve veri analiz yöntemi), değerlendirilen programa, programın uygulandığı üniversitenin olanaklarına ve program değerlendirilmesinden sorumlu kişilerin veya komisyonun yetki ve sorumluluklarına göre artırılabilir ya da çeşitlendirilebilir.

Bu çalışmada geliştirilen tasarımlar, yükseköğretimde program değerlendirme çalışmalarının daha etkili bir şekilde gerçekleştirilmesinde ve eğitim/öğretim programlarının niteliği/kalitesinin artırılmasında önemlidir. Önlisans/lisans/lisansüstü programlarda daha nitelikli/kaliteli eğitim/öğretim programlarının işe koşulması, yükseköğretimde uygulanan bu programların değişen şartlara uyumlu olmasına ve paydaşların beklentilerini karşılamasına (Gilbert, 2004), üniversitelerin eğitim görevinin beklenen niteliğe ulaşmasına katkı sağlayabilir. Üniversitelerin eğitim görevinin niteliğinin ve kalitesinin artması ise son aşamada bütün yükseköğretim sisteminin kaliteye ulaşmasını sağlamada etkili olabilir (Özer, Gür, & Küçükcan, 2010; Yıldız & Ardıç, 1999).

Bu çalışmada sunulan tasarımlar, yükseköğretimde eğitimöğretimin niteliğini belirlemeye yönelik çalışmalar yapan uzman, birim, komisyon ve merkezler tarafından programlar değerlendirilirken kullanılabilir. Bu tasarımların uygulandığı ve uygulama sonuçlarının tartışıldığı deneysel araştırmalar yapılabilir. Bu çalışma kapsamına dahil edilen değerlendirme modellerinin dışında kalan modeller için de benzer tasarımlar yapılabilir.

1) Abdulghani, H. M., Shaik, S. A., Khamis, N., Al-Drees, A. A., Irshad, M., Khalil, M. S., Alhaqwi A. I., & Isnani, A. (2014). Research methodology workshops evaluation using the Kirkpatrick’s model: translating theory into practice. Medical Teacher, 36(sup1), S24 -S29. Retrieved from http://dx.doi.org/10.3109/ 0142159X.2014.886012

2) Alkin, M. C., & Taut, S.M. (2003). Unbundling evaluation use. Studies in Educational Evaluation, 29, 1-12.

3) Allen, M. J. (2004). Assessing academic programs in higher education. Bolton, MA: Anker.

4) Allison, P.D., Elo, I. T, Perelman, B., Peterman D. K., Roman, O., & Waldron, I. (2004). Pilot curriculum evaluation committee final report. Retrieved from https://www.sas.upenn.edu/ugrad/ curriculum_review/PilotReport_Final_11-23-04.pdf

5) Ardahan Sevgili, S. (2017). Aseptik non-touch tekniği kullanarak kan kültürü alımına ilişkin yapılandırılmış eğitim programının hemşirelerin kan kültürü alma bilgi ve becerilerine etkisi. (Yüksek lisans tezi). Ege Üniversitesi Sağlık Bilimleri Enstitüsü, İzmir.

6) Arthur, W., Tubre, T., Paul, D. S., & Edens, P. S. (2003). Teaching effectiveness: The relationship between reaction and learning evaluation criteria. Educational Psychology: An International Journal of Experimental Educational Psychology, 23(3), 275-285. Retrieved from http://dx.doi.org/10.1080/0144341032000060110

7) Arum, R., & Roksa, J. (2011). Academically adrift: Limited learning on college campuses. Chicago: University of Chicago.

8) Aslan, M., & Sağlam, M. (2015, Ekim). Türkiye’de 2005-2014 yılları arasında yapılan program değerlendirme tezlerinin metodolojik açıdan incelenmesi. Üçüncü Uluslararası Eğitim Programları ve Öğretim Kongresi’nde sunulmuş bildiri. Çukurova Üniversitesi, Adana.

9) Aygören, F., & Er, K. O. (2018). Eğitimde program değerlendirme. Ankara: Pegem.

10) Babacan, T. (2016). Dokuzuncu sınıf İngilizce dersi öğretim programının bütüncül eğitime göre değerlendirilmesi (Doktora tezi). Eskişehir Osmangazi Üniversitesi Eğitim Bilimleri Enstitüsü, Eskişehir.

11) Barnett, R. (2011). The idea of the university in the twenty-first century: Where’s the imagination? Yükseköğretim Dergisi, 1(2), 88-94.

12) Barnett, R., & Coate, K. (2005). Engaging the curriculum in higher education. Maidenhead: Open University.

13) Bastedo, M. N. (2011). Curriculum in higher education: The historical roots of contemporary issues. In P. Altbach, R. Berdahl, & P. Gumport (Eds.), American higher education in the twenty-first century: Social, political and economic challenges (pp.60-83). Baltimore, MD: Johns Hopkins University.

14) Berk, Ş. (2012). Mesleki ve teknik ortaöğretim kurumlarında uygulanan modüler sistemin Provus’un Farklar Modeli ile değerlendirilmesi (Doktora tezi). Anadolu Üniversitesi Eğitim Bilimleri Enstitüsü, Eskişehir.

15) Bilen, M. (1999). Plandan uygulamaya öğretim. Ankara: Anı.

16) Bok. D. (2007). Piyasa ortamında üniversiteler: Yükseköğretimin ticarileşmesi. İstanbul: İstanbul Bilgi Üniversitesi.

17) Borg, W. R., & Gall, M. D. (1983). Educational research: An introduction. New York: Longman. Chicago.

18) Bradley, D., Noonan, P., Nugent, H. & Scales, B. (2008). Review of Australian high education: Final report. Canberra: Department of Education, Employment and Workplace Relations.

19) Buttram, J. L., & Cavert, R. W. (1978). The discrepancy evaluation model: A systematic approval for the evaluation of career planning and placement programs. Retrieved from https:// files.eric.ed.gov/fulltext/ED143683.pdf

20) Calidoni Lundberg, F. (2006). Evaluation: definitions, methods and models An ITPS framework. Ostersund: TPS, Swedish Institute For Growth Policy Studies.

21) Chang, N., & Chen, L. (2014). Evaluating the learning effectiveness of an online information literacy class based on the Kirkpatrick framework. Libri, 64(3), 211-223.

22) Cömert, B. (2015). Kirkpatrick’in Eğitim Değerlendirme Modeline göre orta düzey liderlik hizmet içi eğitiminin etkinliğinin değerlendirilmesi (Yüksek lisans tezi). Kara Harp Okulu Komutanlığı Savunma Bilimleri Enstitüsü, İstanbul.

23) Çam, S. S. (2018). Öğretim elemanlarının teknolojik pedagojik alan bilgilerinin geliştirilmesi için bir mesleki gelişim program önerisi (Doktora tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.

24) Demirel, Ö. (2016). Eğitimde program geliştirme. Ankara: Pegem A.

25) Demirkasımoğlu, N. (2017). Üniversite öğrencilerinin derste can sıkıntısına ilişkin görüşleri-öğretmen adayları üzerine bir araştırma. Yükseköğretim Dergisi, 7(1), 10-27.

26) Deresieviwicz, W. (2015). Excellent sheep. New York: Free.

27) Diamond, R. M. (1998). Designing and assessing courses and curricula. San Francisco: Jossey-Bass.

28) Doğan, H. (1975). Program geliştirme sistem yaklaşımı. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 7(1), 361- 385. Retrieved from http://dergiler.ankara.edu.tr/dergiler/ 40/494/5842.pdf

29) Doğan, H. (1997). Eğitimde program ve öğretim tasarımı. Ankara: Gazi.

30) Doll, R. C. (1996). Curriculum improvement decision making and process. (9th Ed.). USA: Allyn and Bacon.

31) Durak H. İ. (2001). Tıpta mezuniyet öncesi mesleksel beceri eğitimi ve beceri laboratuarı. Tıp Eğitimi Dünyası, 5, 1-11.

32) Erden, M. (1998). Eğitimde program değerlendirme. Ankara: Anı.

33) Ertürk, S. (1975). Eğitimde program geliştirme. Ankara: Yelkentepe.

34) Fitzpatrick, J. L., Sanders, J. R. & Worthen, B. R. (2004). Program evaluation altervative approaches and practical guidelines. Boston: Pearson Education.

35) Fu, Y. (2016, November). A study on curriculum evaluation methods in higher education. 3rd International Conference on Management, Education Technology and Sports Science (METSS 2016). Atlantis Press (pp. 576-9). Retrieved from https://doi.org/10.2991/metss-16.2016.117

36) Fung, D. (2017). A connected curriculum for higher education. London, UCL Press. Retrieved from https://discovery.ucl. ac.uk/id/eprint/1558776/1/A-Connected-Curriculum-for- Higher-Education.pdf

37) Gilbert, R. (2004). A framework for evaluation doctoral curriculum. Assesment and Evaluation in Higher Education, 29(3), 299-309.

38) Gitlin, A., & Smyth, J. (1989). Teacher evaluation: Educative alternatives. London: Falmer.

39) Gökmenoğlu, T. (2014). Geniş açı: Modeller ve yaklaşımlar açısından Türkiye’de program değerlendirme çalışmaları. Uluslararası Eğitim Programları ve Öğretim Çalışmaları Dergisi, 4(7), 55-70.

40) Gözütok, F. D. (2006). Program değerlendirme. In M. Gültekin (Ed.), Öğretimde planlama ve değerlendirme (pp. 175-190). Eskişehir: Anadolu Üniversitesi.

41) Gredler, M. E. (1996). Program evaluation. N. J.: Pearson Education.

42) Harvey, L., Geall, V., & Moon, S. (1997). Graduates’ work: Implications of organizational change for the development of student attributes. Industry and Higher Education, 11(5), 287- 296.

43) Henry, G. T., & Mark, M. M. (2003). Toward an agenda for research on evaluation. In C. A. Christie (Ed.), The practice-theory relationship in evaluation. New Directions for Evaluation, No. 97 (pp. 69-80). San Francisco, CA: Jossey-Bass.

44) Hopkins, D. (1989). Evaluation for school development. Milton Keynes: Open University.

45) House, E. R. (1990). Trends in evaluation. Educational Researcher, 19(3), 24-28.

46) Huba, M. E., & Freed, J. E. (2000). Learner-centered assessment on college campuses: Shifting the focus from teaching to learning. Boston: Allyn and Bacon.

47) Hyun, E. (2006). Teachable moments: Re-conceptualizing curricula understandings. Studies in the Postmodern Theory of Education. New York: Peter Lang.

48) İlhan, E. (2018). Üniversitelerin lisans programlarında uygulanan çekirdek programın değerlendirilmesi (Doktora tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.

49) Johnson, K., Greenseid, L. O., Toal, S. A., King, J. A., Lawrenz, F. , & Volkov, B. (2009). Research on evaluation use: A review of the empirical literature from 1986 to 2005. American Journal of Evaluation, 30(3), 377-410.

50) Kalaycı, N. (2008). Yükseköğretim toplam kalite yönetimi uygulamalarında ihmal edilen unsurlardan “TKY Merkezi” ve “Eğitim Programları”. Türk Eğitim Bilimleri Dergisi, 6(2), 163- 188.

51) Karataş, H. (2007). Yıldız Teknik Üniversitesi Modern Diller Bölümü İngilizce II dersi öğretim programının öğretmen ve öğrenci görüşlerine göre bağlam, girdi, süreç ve ürün (CIPP) modeli ile değerlendirilmesi (Yüksek lisans tezi). Yıldız Teknik Üniversitesi Sosyal Bilimler Enstitüsü, İstanbul.

52) Kashyap, M. M. (1979) Curriculum development and design process. The International Library Review, 11, 353-365.

53) Khan, M. A, & Law, L. S. (2015). An integrative approach to curriculum development in higher education in the USA: A theoretical framework. International Education Studies, 18(3),66-76.

54) King, J. A., & Pechman, E. M. (1984). Pinning a wave to the shore: Conceptualizing evaluation use in school systems. Educational Evaluation and Policy Analysis, 6, 241-451.

55) Kirkpatrick, D. L., & Kirkpatrick, D. J. (2007). Evaluating training programs: The four levels. San Francisco: Berrett-Koehler.

56) Kirkpatrick, D. L. (1998). Dört aşamalı eğitim programları ölçümlemesi (Çev.: Largo Eğitim, Danışmanlık ve Dil Hizmetleri). İstanbul: PDR Özel Eğitim ve Danışmanlık.

57) Klenowski, V. (2010). Curriculum evaluation: Approaches and methodologies. Retrieved from http://eprints.qut.edu. au/26163/1/Klenowski_curriculum_evaluation.pdf

58) Kumral, O. & Saraçaloğlu, A. S. (2011). Eğitim programlarının değerlendirilmesi ve eğitsel eleştiri modeli. Uluslararası Eğitim Programları ve Öğretim Çalışmaları Dergisi, 1(2), 27-35.

59) Kurt, A., & Erdoğan, M. (2015). Content analysis and trends of curriculum evaluation research: 2004- 2013. Education and Science, 40(178), 199-224.

60) Kurt, T. (2018). Yükseköğretimdeki dönüşümün lisans eğitimi üzerindeki etkileri: Eğitim fakülteleri örneği. III. Uluslararası Yükseköğretim Çalışmaları Konferansı bildirileri, 21-22.

61) Kürüm Yapıcıoğlu, D., Atik Kara, D., & Sever, D. (2016). Trends and problems in curriculum evaluation studies in Turkey: The perspective of domain experts. Uluslararası Eğitim Programları ve Öğretim Çalışmaları Dergisi, 6(12), 91-114.

62) Lees, D. (2002). Graduate employability – literature review. LTSN Generic Centre. Retrieved from http://www.palatine.ac.uk/ files/emp/1233.pdf.

63) Leveson, L. (2000). Disparities in perceptions of generic skills: academics and employers. Industry and Higher Education, 14(3), 157-164.

64) Leviton, L. C., & Hughes, E. F. X. (1981). Research on the utilization of evaluations: A review and synthesis. Evaluation Review, 5, 525-549.

65) MacNay, I., (2009). Western guide to curriculum review. Retrieved from https://www.uwo.ca/tsc/resources/pdf/PG_4_Curriculum. pdf

66) Marsh, C., & Willis, G. (2007). Curriculum: Alternative approaches, ongoing issues (4th Ed.). Upper Saddle River, N. J.: Pearson/ Merrill Prentice. Hall.

67) Moldovan, L. (2016).Training outcome evaluation model. Procedia Technology, 22, 1184-1190.

68) Mourshed, M., Farrell, D., & Barton, D. (2012). Education to employment: designing a system that works (n.p.): McKinsey Center for Government. Retrieved from https://www. creativitycultureeducation.org/publication/education-toemployment- designing-a-system-that-works/

69) Nation, I. S. P., & Macalister, J. (2010). Language curriculum design. New York & London Routledge.

70) Noe, R. A. (2009). İnsan kaynaklarının eğitimi ve geliştirilmesi (Çev. Ed. ve Çev.: C. Çetin). İstanbul: Beta.

71) Organisation for Economic Co-operation and Development (OECD). (2008). Higher education to 2030: Demography. Paris: OECD.

72) Office of Academic Planning and Assessment. (OAPA). (1998). General education: Students’ perspectives. Assessment Bulletin, 3(1), 1-4.

73) Olds B. M., & Miller, R. L. (1998). An assessment matrix for evaluating engineering programs. Journal of Engineering Education, 87(2), 173-178.

74) Ornstein, A. C., & Hunkins, F. P. (2004). Curriculum foundations, principles and issues (3rd ed.). Boston: Allyn and Bacon.

75) Özer, M., Gür, B., & Küçükcan, T. (2010). Yükseköğretimde kalite güvencesi. Ankara: Seta.

76) Palomba, C. A., & Banta, T. W. (1999). Assessment essentials: Planning, implementing, andimproving assessment in higher education. San Francisco, CA: Jossey-Bass

77) Parsons, J. (2012). From knowledge to action: shaping the future of curriculum development in Alberta. Alberta Education Planning and Standards Sector. Edmonton, Alberta, Canada T5J 5E6. Retrieved from https://open.alberta.ca/dataset/bc0bd7df- 2bfe-4b8b-8af0-db19b17a7721/resource/5f11d83e-3074- 408b-bff7-bcc27987864a/download/5976960-2012-From- Knowledge-Action-Curriculum-Development-Alberta.pdf

78) Paull, M., Whitsed, C., & Girardi, A. (2016). Applying the Kirkpatrick model: Evaluating interaction for learning framework curriculum interventions in purveyors of fine learning since 1992. Retrieved from http://ctl.curtin.edu.au/events/conferences/ tlf/tlf2016/refereed/paull.pdf

79) Popham, J. W. (1975). Educational Evaluation (2nd Ed.). New Jersey: Prentice Hall

80) Praslova, L. (2010). Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in higher education. Educational Assessment Evaluation Account, 22(3), 215-225.

81) Provus, M. N. (1983). Discrepancy evaluation. Berkeley, CA: McCutcheon.

82) Rogers, G. M. & Sando, J. K. (1996). Stepping ahead: An assessment plan development guide. Terre Haute: Rose-Hulman Institute of Technology.

83) Rowntree, D. (1974). Educational technology; Curriculum planning. London: Harper and Row.

84) Sadıq, S. O. H. (2017). Eğitim etkinliğinin insan kaynakları gelişimine etkisi (Yüksek lisans tezi). Gaziantep Üniversitesi Eğitim Bilimleri Enstitüsü, Gaziantep.

85) Sağlam, S. & Yüksel, İ. (2007). Program değerlendirmede metaanaliz ve meta-değerlendirme yöntemleri. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, 18, 175-188.

86) Sanders, J. R. (2000). Evaluating school programs: An educator’s guide. Newbury Park, CA: Corwin.

87) Scriven, M. (1983). The methodology of evaluation. In B. Worthen & J. Sanders (Eds.) Educational evaluation: theory and practice. Belmont, CA: Wadsworth.

88) Scriven, M. S. (1997). Comment’s on Fetterman’s response. Evaluation Practice, 18, 271-272.

89) Shadish, W. R., Cook, T. D., & Leviton, L. C. (1991). Foundations of program evaluation: Theories of practice. Thousand Oaks, California: Sage.

90) Spencer, D., Matthew, R., & Bernadette, K. (2012). Curriculum mapping to embed graduate capabilities. Higher Education Research & Development, 31(2), 217-231.

91) Spiel, C., Schober, B., & Reimann, R. (2006). Evaluation of curricula in higher education: Challenges for evaluators. Evaluation Review, 30(4), 430-450.

92) Stake, R. E. (1995). The art of case study research. Thousand Oaks: Sage.

93) Stenhouse, L. (1975). An introduction to curriculum research and development. London: Heinemann.

94) Stevens, F., Lawrence, F., & Sharp, L. (1996). User-friendly handbook for program evaluation. In J. Frechtling (Ed.), Science, Mathematics, Engineering, and Technology Education (pp. 93-152). Virginia: National Science Foundation.

95) Stufflebeam, D. L. (2001). Evaluation models. New directions for evaluation. San Francisco: Josey-Boss.

96) The Study of Undergraduate Education at Stanford University (SUES). (2012). Stanford, CA: Stanford University. Retrieved from https://stanford.app.box.com/s/5uwdr9j5w1ay16xc78e 4k133mnim1ylh

97) Taylor, M. C. (2010). Crisis on campus. New York: Alfred A. Knopf

98) TEDMEM. (2016). OECD yetişkin becerileri araştirmasi: Türkiye ile ilgili sonuçlar. Retrieved from https://tedmem.org/download/ oecd-yetiskin-becerileri-arastirmasi-turkiye-ile-ilgili-sonuclar

99) Kandiko Howson, C. (2010). Creating a 21st Century Curriculum: The King’s-Warwick Project. Retrieved from https://www. academia.edu/38692148/Creating_a_21st_Century_ Curriculum_The_King_s-Warwick_Project

100) Tyler, R. W. (1950). Basic principles of curriculum and instruction. Chicago: University of Chicago.

101) Tyler, R. W., Gagne, R. M., & Scriven, M. (1967). Perspectives of curriculum evaluation. Chicago, IL: Rand McNally.

102) Uşun, S. (2013). Eğitimde program değerlendirme süreçler, yaklaşımlar ve modeller. Ankara: Anı.

103) Üçer-Saylan, D., Sayers, Z., & Alpar, M. A. (2016). Bir çekirdek program hikâyesi- temel geliştirme programı. Yükseköğretim ve Bilim Dergisi, 6(3), 304-316.

104) Ültanır, G. (2016). Program değerlendirme. Ankara: Nobel.

105) Varış, F. (1988). Eğitimde program geliştirme teoriler, teknikler. Ankara: Alkım.

106) Walvoord, B. E. (2004). Assessment clear and simple: A practical guide for institutions. San Francisco: Jossey-Bass.

107) Weir, C.J., & Roberts, J. R. (1994). Evaluation in ELT. Oxford: Basil Blackwell.

108) Wolf, P., Cristensen, J. H., Svinicki, M. D., & Rice, R. E. (2007). Yüksek öğretimde eğitim programı geliştirme: Öğretim üyeleri tarafından yürütülen süreçler ve uygulamalar. M. T. Atay (Çev. Ed.), (Çev. N. Kalaycı & E. İlhan). Ankara: Elhan.

109) Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (1997). Program evaluation: Alternative approaches and practice guidelines (2nd Ed.). New York: Longman.

110) Yardley, S., & Dornan, T. (2012). Kirkpatrick’s levels and education ‘evidence’. Medical Education, 46(1), 97-106. http://dx.doi. org/10.1111/j.1365-2923.2011.04076.x

111) Yaşar, S., Gültekin, M., Köse, N., Girmen, P., & Anagün, Ş. (2005). The Meta- evaluation ofteacher training programs for elementary education in Turkey. ATEA: Australian Teacher Education Association 33. Annual Conference (pp. 498- 504). Gold Coast, Queensland, Australia: ATEA.

112) Yıldız, G., & Ardıç, K. (1999). Eğitimde toplam kalite yönetimi. Bilgi Sosyal Bilimler Dergisi, 73-82.

113) Yiğit, C. (2016). Öğretmenlerin mesleki gelişiminde eylem araştırmasının Kirkpatrick program değerlendirme modeline göre incelenmesi (Doktora tezi). Gaziantep Üniversitesi Eğitim Bilimleri Enstitüsü, Gaziantep.

114) Yükseköğretim Kurulu (YÖK) (2018). Güncellenen öğretmenlik lisans programları, Milli Eğitim Bakanı İsmet Yılmaz’ın da katılımıyla YÖK’te tanıtıldı. Retrieved from http://www. mebpersonel.com/egitim/yok-un-yeni-ogretmenlikprogramlari- kamuoyuna-duyuruldu-h222647.html

115) Yüksel, İ., & Sağlam, M. (2012). Eğitimde program değerlendirme: Yaklaşımlar, modeller, standartlar. Ankara: PegemA.

116) Yüksel, İ. (2010). Türkiye için program değerlendirme standartları oluşturma çalışması (Doktora tezi). Anadolu Üniversitesi Eğitim Bilimleri Enstitüsü, Eskişehir.