Büyük verinin kısa tarihçesi

Bu yazımızda 1600'lerin istatistiksel veri analizinden 1940'ların ilk programlanabilir bilgisayarına, internet, Hadoop, IoT, AI ve daha fazlasına kadar büyük verinin kilometre taşlarına kronolojik olarak bakıyoruz.

Büyük veri, son yıllarda iş dünyasında devrim yaratan teknolojilerin başında geliyor. Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilerin karması olan büyük veriyi, şirketlerin makine öğrenimi, tahmine dayalı modelleme ve diğer gelişmiş veri analitiği uygulamaları aracılığıyla iş maksatlı kullanabilecekleri bilgi koleksiyonu olarak tanımlamak mümkün.

2010’ların başında sektörün diline pelesenk olan büyük veri, o yıllarda içi boşaltılmış bir kavram izlenimi vermiş olsa da, kısa süre içinde gerek iş gerekse günlük yaşam üzerinde muazzam etkiler yarattığını söylemek gerek. Bununla birlikte, büyük veri kavramı aslında yüzyıllardır hayatımızda yer alıyor.

Bugün bildiğimiz anlamda gelişmiş büyük veri analitiğine yol açan veri analizinin tarihi 17. yüzyıl Londra’sına kadar uzanıyor. Şimdi daha eskilerden başlayarak büyük verinin tarihine yakından bakalım.

Büyük verinin tarihi

Zeki insanların dünyayı anlamlandırmak için istatistiklere ve analize göre hareket etmenin değerini anlamaya başladığı dönemde büyük verinin temelleri atılmaya başlandı.

1663

İngiltere'de meydana gelen 1665'ten 1666'ya kadar süren ve kara ölüm olarak da bilinen hıyarcıklı veba salgını ile ilgili Londralı bilim insanı John Graunt’in sunduğu istatistiksel veri analizi, büyük veri için milat olarak kabul edilir. Yaptığı çalışma ile ölüm nedenlerini sistematik olarak ölçmeye çalışan Graunt, ölüm oranlarını ve bunların varyasyonlarını kaydettiği ilk halk sağlığı kayıtları koleksiyonunu 1663’te yayınladı.

1865

1865 yılında yazar Richard Millar Devens "Cyclopædia of Commercial and Business Anecdotes" adlı kitabında “Business Intelligence” yani iş zekası terimini ilk kez kullanır. Devens kitabında bir bankacının kar elde etmek için çevresinden gelen bilgileri nasıl kullandığını anlatmıştır. Bugün bildiğimiz anlamıyla, verileri analiz etme ve ardından eyleme dönüştürülebilir bilgiler sunmak için kullanma süreci olan iş zekasının 1960-85 yılları arasında gelişen karar destek sistemlerinden (DSS: Decision Support Systems) geliştirildiği söylenebilir.

1884

Dr. Herman Hollerith, veri işlemenin başlangıcı olarak kabul gören, delikli kartı kullanarak istatistiki verilerin daha hızlı bir biçimde değerlendirilmesini mümkün kılan makine ve sistemi icat eder. Hollerith’in geliştirdiği sistem 1890'da ABD'nin nüfus sayımı verilerini işlemek için kullanıldı. Dr. Herman Hollerith, 1911'de, sonrasında ismi IBM olacak olan Computing-Tabulating-Recording şirketini kurdu.

1926

Tesla, 1926 yılında teknolojinin geleceğini yorumladığı röportajında, insanların bir gün "yelek cebinde" taşınabilen bir cihaz aracılığıyla büyük miktarda veriye erişebileceklerini öngörür. Tesla, bu değerlendirmeyi kablosuz teknolojinin parçacıkları değiştireceği konusundaki anlayışına dayanarak tahmin etmiş ve bu konuda şu yorumu yapmıştır; "Kablosuz teknolojiyle tüm dünya devasa bir beyne dönüşecek ve mesafeden bağımsız olarak birbirimizle anında iletişim kurabileceğiz.”

1928

Alman mühendis Fritz Pfleumer, 1928 yılında çelik tel yerine üzeri demir oksit tanecikleri kaplı kâğıt şeride çok daha kaliteli ses kaydı yapmayı başardı. Daha sonra da ünlü Alman firması AEG’nin desteğiyle kâğıt yerine ince plastik şerit kullanarak daha pratik ve kaliteli manyetik kayıtlar geliştirdi.

1943

İngiltere, İkinci Dünya Savaşı sırasında düşmanın gizli haberleşme kodlarını çözmek için teorik bir bilgisayar ve ilk veri işleme makinelerinden birini icat etti. Bletchley Park’taki kod çözme merkezinde faaliyete geçen ilk büyük ölçekli elektronik bilgisayar olan Colossus, büyük hacimli verileri analiz etmek için kullanıldı.

1959

IBM programcısı ve yapay zeka biliminin öncüsü Arthur Samuel 1952'de "makine öğrenimi" terimini ortaya attı.

1965

ABD, milyonlarca vergi beyannamesi ve parmak izini manyetik bantta saklamak için ilk veri merkezlerini inşa etmeye başladı.

1969

Dağıtık kontrol ve TCI/IP protokollerini içeren ilk geniş alan ağı olan Advanced Research Projects Agency Network (ARPANET) kuruldu. Bu, günümüz internetinin temelinin atılması anlamına geliyordu.

İnternet çağı: Büyük verinin şafağı

Bilgisayarlar internet sayesinde katlanarak daha yüksek oranlarda bilgi paylaşmaya başladıkça, büyük veri tarihindeki bir sonraki aşama da şekillenmeye başladı.

1989 ve 1990

Tim Berners-Lee ve Robert Cailliau, World Wide Web, HTML, URL ve HTTP protokolünü geliştirdiler. Böylece verilere yaygın ve kolay erişim ile internet çağı başlamış oldu.

1996

Dijital veri depolama, ilk kez kağıda bilgi depolamaktan daha uygun maliyetli hale geldi. Bu bilgi R. J. T. Morris ve B.J. Truskowski’in 2003 yılında IBM Systems Journal’da yer alan "Depolama Sistemlerinin Evrimi" makalesinde yer aldı.

1997

Google, bugün kullandığı alan adını 15 Eylül 1997'de etkinleştirdi ve 4 Eylül 1998'de Google şirketi resmen kuruldu. Arama motoru devrimi ile makine öğrenimi, büyük veri ve analitik teknolojileri de dahil olmak üzere çok sayıda diğer teknolojik yeniliğin geliştirilmesine başlanmadan bir yıl önce Google.com adı tescillenmiş oldu.

1998

“NoSQL” sözcüğü ilk defa Carlo Strozzi tarafından 1998 yılında kullanıldı. Geliştirdiği ilişkisel veritabanının sorgulama dili olarak SQL’i kullanmadığını belirtmek isteyen Strozzi, açık kaynak kodlu veritabanı için NoSql DB ismini kullandı.

1999

İlk baskısı 2000 yılında yayımlanan Hal R. Varian ve Peter Lyman'ın “How Much Information” isimli kitabı 1999'daki verilere dayanarak, bugüne kadar dünyada mevcut olan dijital bilgi miktarını belirlemeye çalıştı.

21. yüzyılda büyük veri

Bugün bildiğimiz anlamıyla büyük veri teknolojisi 2000 yılının başı itibarıyla hayatımıza girmeye başladı ve dokunduğu tüm endüstrileri etkileyerek dijital dünyada yeni bir dönemin kapısını açtı.

2001

Bilgi teknolojileri firması Gartner'dan Doug Laney, 3V'yi (hacim, çeşitlilik ve hız) kullanarak büyük verinin boyutlarını ve özelliklerini tanımladı. Büyük verinin ne anlama geldiğini çok iyi özetleyen bu tanım, bu teknolojinin 21. yy. için ne kadar önemli olduğunu da ortaya koymuştur. Bu açıklamanın ardından doğruluk, değer ve değişkenlik gibi alt özellikler de büyük veri tanımına eklenmiştir.

2005

Bilgisayar bilimcileri Doug Cutting ve Mike Cafarella, Yahoo'dan ayrılan mühendislerden oluşan bir ekip ile büyük veri kümelerini depolamak ve işlemek için kullanılan açık kaynaklı yazılım araçları koleksiyonu Apache Hadoop'u geliştirdi.

2006

Amazon Web Services (AWS), bulut bilişim olarak bilinen web tabanlı bilgi işlem altyapısı hizmetleri sunmaya başladı. Şu anda AWS, küresel pazar payının yaklaşık üçte biri ile bulut hizmetleri sektörünün hakimidir.

2008

Dünyadaki tüm CPU'ların, kişi başına yaklaşık 12 gigabayta eşit olan 9,57 zettabayttan (veya 9,57 trilyon gigabayt) fazla veri işlediği açıklandı. Küresel olarak yeni bilgi üretimi tahmini olarak 14,7 eksabayta denk geliyordu.

2009

Gartner, iş zekasının CIO'lar için en önemli öncelik olduğunu açıkladı. Büyük Durgunluk nedeniyle bir ekonomik dalgalanma ve belirsizlik dönemiyle karşı karşıya kalan şirketler için artık veriden değer yaratmak vazgeçilmez hale gelmeye başladı.

2011

McKinsey, 2018 yılına kadar ABD'nin analitik yetenek sıkıntısı ile karşı karşıya kalacağını açıkladı. Buna göre söz konusu tarihe kadar ABD’nin derin analitik becerilere sahip 140 bin ile 190 bin kişiye ve doğru veriye dayalı kararlar alma becerisine sahip 1,5 milyon analist ve yöneticiye ihtiyacı olacaktı.

Ayrıca Facebook, enerji açısından verimli veri merkezleri için teknik özellikleri paylaşmak üzere Open Compute Project’i başlattı. Girişimin hedefi, maliyetleri %24 düşürüp, enerji verimliliğinde %38 artış sağlamaktı.

2012

ABD, ulusal güvenlik ve öğrenme dönüşümü vizyonu kapsamında veriden değerli iç görüler elde etme ve STEM uygulamalarının büyümesini hızlandırmak için 200 milyon dolarlık bir taahhütle Büyük Veri Araştırma ve Geliştirme Girişimi'ni duyurdu. STEM’e o dönemde sanatı temsilen “A” harfi eklendi ve STEAM oldu.

Harvard Business Review, veri bilimci mesleğini 21. yüzyılın en arz edilen mesleği ilan etti. Daha fazla şirket, yapılandırılmamış verileri sıralama ve bunlardan iç görü elde etme ihtiyacını anladıkça, veri bilimcilere olan talep arttı.

2013

Büyük verinin global pazar hacmi 10 milyar dolara ulaştı.

2014

ABD'de masaüstü bilgisayarlardan daha fazla mobilden internete erişildiği verisi ilk kez rapor edildi. Dünyanın geri kalanı takip eden 2 yıl içinde ABD’yi bu konuda yakaladı.

2016

Dünyadaki verilerin yüzde doksanının yalnızca son iki yılda oluşturulduğu açıklandı ve IBM, her gün 2,5 kentilyon bayt veri oluşturulduğunu bildirdi.

2017

IDC, büyük veri analizi pazarının 2020'de 203 milyar dolara ulaşacağını tahmin etti.

2020

Allied Market Research, büyük veri ve iş analitiği pazarının 2019'da 193,14 milyar dolara ulaştığını ve yıllık %10,9'luk bileşik büyüme oranında 2027'ye kadar 420,98 milyar dolara çıkacağını tahmin etti.

Büyük verinin geleceği: Büyük veride sıradaki adım ne?

Hızlı, neredeyse gerçek zamanlı analiz ve yanıt sağlamak için verilerin oluşturuldukları yere yakın bir şekilde işlenmesi, analiz edilmesi ve depolanması anlamına gelen sınır bilişim büyük verinin bir adım sonrasını ifade ediyor. Bu kavram önümüzdeki yıllarda çok daha fazla karşımıza çıkacak. Bağlı cihazların her geçen gün artması, buluta artan bağımlılığımız ve yaklaşan uç bilgi işlem devrimi nedeniyle, büyük veri odaklı atılması gereken çok fazla adım var.

Örneğin makine öğrenimi, yapay zeka ve IoT analitiği gibi teknolojiler, verileri işleme, analiz etme ve bunlara göre hareket etme becerimizi büyük ölçüde geliştirerek sınırları zorlamaya devam ediyor. Büyük veri ve analitikte önemli gelişmelerin çok kısa süre içinde hayatımıza gireceği bir gerçek.