Data Science ve Big Data nedir? Ve Biraz da hadoop dan bahsedelim…

Bugün sizlere bir süredir araştırmakda olduğum Data Science ve big data konularından anladığım kadarıyla bahsedecegim.

Data Science nedir?

Data Science, genel olarak, veriden(data) bilginin çıkarılmasıdır. Ama veriyi kullanmak datascience degildir. Verinin içinden yeni bir veri üretiliyorsa buna data science denir.

Peki data nedir?

Data,internetin ortaya çıktığı ilk andan beri hayatımızda olmasına rağmen, henüz yeni yeni insanların arasına karışıp önemini fark ettirmeye başladı. İnsanın internette yaptığı her hareketi içinde barındırır. Örneğin bir siteye giridik ve bir ürüne tıkladık. Bu işlemi saniye milyarlarca insanın yaptığının düşünün. Elimizde terabaytlarca veri olur. İşte buna Big data denir.

Big datanın tanımı sadece “diskte çok fazla yer kaplayan veri” anlamında değil, aynı zamanda işlenmemiş veri anlamına da gelir. İnternetin çıkışından bu yana geçen zamanda  ciddi şekilde çok büyük bir veri birikmiştir.  2000 yılında tüm dünyada 800,000 petabyte büyüklüğünde veri saklandı. 2020 yılında bu verinin 35 zetabyte olacağı tahmin ediliyor. Örneğin Twitter her gün 7 TB, Facebook  ise 10 TB veri kaydediyor.

Peki bu kadar çok veri nasıl anlamlı hale getirilebilir?

Kelimelerin analizini yapmak istediğimiz zaman bunu sql sorguları ile yapabilmemiz pek mümkün değildir. Bunun için ne zamanımız yeter nede anlamlı bir veri ortaya koymamız pek mümkün olmaz. Data nereden geldi, nereye gidiyor ve neden kullanılmıştır. İnsanlar çok fazla online ortamda zaman geçirir ve bu şekilde çok fazla veri bırakır. Ama bunları işlemezsek sadece çöp verimiz olmuş olur. Datayı etkili hale getirmek için verileri ayarlamalı ve verileri kullanabilir hale getirdikten sonra, yani işledikten sonra verileri kaydederiz ve bunları daha sonra kullanırız. Bu dataların klasik yöntemlerle işlenebilmesi pek söz konusu değildir. Big data, ancak big data çözümleri ile işlenebilir.

Reklamlar

Terminalde Kısayollar

Bu yazımda linux terminalde kullanabileceğimiz bazı kısayol tuşlarından bahsedeceğim. Umarım yararlı olur.

ctrl+shift+t => Yeni terminal açar.
ctrl+shift+n => Oldugun dizinde bulunan yeni bir terminal açar.
ctrl+shift+r => O an yazdıgımız bir yazıyı daha önce yazılanlar arasından içinde o kelime yada harf gecenleri ekranda gösterir ve tab yapınca onu yazmıs oluruz.
ctrl+shift+q => Terminali kapatır.
ctrl+shift+f => Bir arayuz açar ve oraya girdigimiz yazıyı terminalde arar.
ctrl+shift+l => Terminal ekranını temizler.
ctrl+p => Terminalde en son girdigimiz kodu yazdırır. Her basmada bi önceki yazılan gelir.
yukarı tusu => Terminalde en son girdigimiz kodu yazdırır. Her basılışta bir önceki yazılan gelir.
ctrl+shift+yukarı tusu => Terminal ekranında yukarıya dogru cıkar.
ctrl+shift+aşağı tusu => Terminal ekranında aşağı dogru iner.
ctrl+z => Yaptığımız işlemi sonlandırır.
ctrl+t => Terminalde yazılı olan yazının son iki karakterinin yerini değiştirir.
ctrl+0 => Terminali normal boyuta getirir.
ctrl+shift+ 4 => Terminaldeki yazıları büyütür.
ctrl+(-) => Terminaldeki yazıları küçültür.

Bu yazımı yeni kısayollar öğrendikçe güncelleyeceğim..

Sloganımız => Unutmayın! Bilgi saklandıkça değil,paylaştıkça birikir. 🙂

 

PAKET YAKALAMA

Paket Koklama ne demektir?
1) Ağ üzerinde iletilen verilerin çalınması işlemine paket
yakalama(koklama) denir.
2) Paket koklama sizin sisteminiz ile ağ geçidi arasındaki diyaloğu yani veri konuşmasını dinlemektedir.
3) Paket yakalaması yapmak paketlerini okuduğumuz bilgisayara zarar vermez.

Paket Koklama ne işe yarar?
1) Lokal ağ üzerinden işimize yarayabilecek bilgileri dinleyip o verilerin okuyabiliriz.
2) Sistemimize izinsiz giriş yapanları da bu şekilde tespit edebiliriz.

Peki paket koklama nasıl yapılmaktadır?
1) Bir veri önce bilgisayardan çıkar sonra ağınıza bağlı tüm diğer sistemlere ulaşmaktadır. Gelen paketlerin kendilerine ait olup olmadığına karar vererek kabul veya reddetmektedirler.
2) Ağ içinde paket koklama yapan varsa diğer bilgisayarlara gönderilen bilgilerin aynısını kendi bilgisayarınada alabilir.
3) Bazı uygulamalar ağ üzerindeki paket trafiğini izler.(Bunlardan daha sonra bahsedeceğim)

Peki ne tür veriler koklanabilmektedir?
1) Ssh paketleri şifreli bir sekilde gidip gelir. Ama normal http de post islemi yaparken yakaladigimiz paketi çok rahat okuyabiliriz.

Sniffer nedir?
1) Kelime anlamıyla dinleyici demektir.
2) Aslında Paket toplamak ve sniffer aynıdır.Benim ikisindende bahsetme nedenim terim olarak ikisininde kullanılıyor olması.
3) Sniffer 2’ye ayrılır.
              a)Pasif sniffing
              b)Aktif sniffing
    a)Pasif sniffing
        1) Hub ile yönetilen network ü dinlemek için kullanılır.
        2) Ağda bir veri bir bilgisayara gönderilecekse Hub’lar bu veriyi tüm bilgisayarlara gönderirler veriyi alacak olan bilgisayar veri kendisine gönderilip gönderilmediğini kontrol eder eğer kendisine gönderilmişse veriyi alır.
        3) Bilgisayarımız Promisc modda ise kendisine gelen her paketi kime yollandığına bakmadan kabul eder.
               NOT: Bilgisayarımızı promisc moda almak için önce terminalimizi açacagız.Sonra ise terminale “ifconfig eth0 promisc” yazarız. Ve bilgisayarımız promisc moda almış oluruz.Tekrar promisc moddan çıkmak içinse terminale “ifconfig eth0 -promisc” yazmalıyız.
    b)Aktif sniffing
        1) Switch, kimin yolladığını bilmek için dataya bakar ve paketi gönderilecek bilgisayarın MAC adresine bakarak gönderir.
        2) Switch, bünyesinde sistemin tüm MAC adreslerinin bulunduğu MAC tablosuna sahiptir. Mac adresi kontrolünü bu tablodan yapar.
        3) Bir switch, hublar ile bağlı olan networklere göre daha güvenlidir.

Switche sahip bir networku hangi yöntemlerle paketlerini yakalayabiliriz??

1) Mac Flood=> switch e binlerce mac adresi gönderir ve switchin hub gibi çalışmasını sağlar.
           hangi araçlar kullanabiliriz? => Etherflood ve Macof
2) ARP zehirleme=>
           a) ARP tablolarında tutulan IP ve MAC adresi eşleştirmelerine müdahele etmek mümkündür.
           b) Bu tablolara yapılacak müdahele ile ağ trafiği artırılarak, ağ isteklere cevap veremez hale getirilebilir.
           c) ARP zehirlenmelerinde, saldırgan ağ trafiğini değiştirebilir ya da ağ trafiğini tamamen durdurabilir.
           d) ARP tablosunu yanlış bilgilerle doldurur ve hedef bilgisayarın göndereceği paketlerin saldırganın belirttiği adreslere gitmesini sağlayabilir. Bu yöntemle gönderilmek istenilen paketin, istenilen yere ulaşması engellenebilir.

           e) MAC adres bilgisine kendi MAC adresini yazar. Pakete yapılan bu müdahele ile artık yollanan paketler saldırganın bilgisayarına gider. Saldırgan da paket üstünde istediği gibi değişiklik yapabilir. 

 İşte bu tür olaylara ARP zehirlenmesi denilmektedir.
**************************************************************************
Hangi programlarla paket yakalama yapabiliriz?
=> tcpdump
=> arpspoof
=> wireshark
=> tshark
Bu konuda şuan için başlangıçdayım. Ama zamanla bilgilerim güncellendikçe bu yazımıda güncelleyeceğim.
Ve bir dahaki yazımda bildiğim kadarıyla paket yakalamaya görsel örnekler vereceğim.

servis-tabanli-mimariler-konferansi

    Merhaba arkadaşlar.. İlk blog yazım üniversitemizde düzenlediğimiz bir etkinlik günü ile ilgili olacak.
    Özellikle bu etkinliği seçmemdeki amaç bu bölüme başladığımdan beri hep birlikte ortaya koyduğumuz en iyi etkinlikti ve dahada önemlisi bu etkinliği okulumuzun yeni kulübü paü özgür yazılım kulübü düzenledi. Ve burda Kulübümüzün vizyon ve misyonu açıklandı.
    Sabah 10’da konferansla başlayacak olan etkiliğimiz için görevli arkadaşlarımızla birlikte 2 saat önceden okula gelip hazırlıklarımızı yaptık. Ve gelen konuklarımız için isimlerinin yazılı olduğu yaka kartı hazırladık.Artık herşey hazırdı.Konferansı verecek olan Hüseyin Mert hocamızı beklemeye başladık.
    Saat 10 oldu.Hüseyin Mert hocamız geldi ve Kurtuluş Ahmet Temel önderliğinde 3 arkadaşımız özgür yazılım ve paü özgür yazılım kulübünü çok güzel bir şekilde anlattılar. Ve sahneyi Hüseyin Mert hocamıza bıraktılar.
     Hüseyin hocamız Servis Tabanlı Mimariler’i birinci sınıf öğrencilerin çoğunlukda olmasından dolayı en basit düzeyde anlattı.Çoğu kişinin ilk defa duyduğu bir şey olmasına rağmen şematik bir şekil kullanarak anlatması ve nerdeyse her konukla karşılıklı konuşması herkesin daha iyi anlamasını sağladı.Teorik kısmı anlattıktan sonra öğle yemeği molası verdik.
     Yemekden sonra sıra laboratuvarlara çıkıp teorikde kalan bilgiyi pratiğe dökmeye geldi.Öncelikle 3 gruba ayrılıp görevler paylaşıldı.Ben Necati Kartal yani namıdeğer Başkanımızın grubunda yer aldım.Başkanımız bizim grubumuz arasında görev paylaştırdı. Ve hepbirlikde hızlıca işe koyulduk. Etkilinğin en güzel bölümü burasıydı.Çünkü her kişinin öğrencilik hayatında katılabileceği birşey değildi.İş sahibi,yöneticiler ve proje başkanlarının olması,sürekli kontrol altında olup ve de koordineli çalışmak bize gerçek bir şirket projesiymiş havası verdi.Kendim için en iyi tarafıysa böyle bir deneyimi 1.sınıfta yolun başındayken yaşamak oldu.
    Yazımı sonlandırmadan önce bu etkinliğimizin baş aktörü Hüseyin Mert hocamıza,etkinliğimizin hazırlanmasında sürekli bizi destekleyen Recep Erol hocamıza ve de etkinlikde görev alan tüm arkadaşlarıma teşekkür ederim..

Unutmayın! Bilgi saklandıkça değil,paylaştıkça birikir. 🙂

Hakkında

 

     13 Nisan 1993’de Uşak’da doğdum.İlk ve orta öğretimimi Uşak’da tamamladım..Ve 2011 yılında Uşak Orhan Dengiz Anadolu Lisesi’nden mezun oldum..2012 yılında Pamukkale üniversitesi Bilgisayar Mühendisliği bölümünde lisans eğitimime başladım ve hâlâ devam ediyorum.  

  Bundan sonra düzenli bir şekilde bildiklerimi blogumda paylaşacağım.   

          Unutmayın! Bilgi saklandıkça değil,paylaştıkça birikir. 🙂