Locally Scaled Density Based Clustering

Ergun Biçici and Deniz Yuret. In International Conference on Adaptive and Natural Computing Algorithms (ICANNGA 2007), LNCS 4431, Part I, Springer-Verlag. (PDF, PS, Presentation, Code, Readme)

Abstract: Density based clustering methods allow the identification of arbitrary, not necessarily convex regions of data points that are densely populated. The number of clusters does not need to be specified beforehand; a cluster is defined to be a connected region that exceeds a given density threshold. This paper introduces the notion of local scaling in density based clustering, which determines the density threshold based on the local statistics of the data. The local maxima of density are discovered using a k-nearest-neighbor density estimation and used as centers of potential clusters. Each cluster is grown until the density falls below a pre-specified ratio of the center point’s density. The resulting clustering technique is able to identify clusters of arbitrary shape on noisy backgrounds that contain significant density gradients. The focus of this paper is to automate the process of clustering by making use of the local density information for arbitrarily sized, shaped, located, and numbered clusters. The performance of the new algorithm is promising as it is demonstrated on a number of synthetic datasets and images for a wide range of its parameters.

Full post... Related link

Drexler quote

It makes sense to think in terms of three levels of knowledge about a field:

1. Knowing what a field is about—knowing what sorts of physical systems and phenomena it deals with, and what sorts of questions it asks and answers.
2. Knowing the content of a field in a qualitative sense—having a good feel for what sorts of phenomena can be important in what circumstances, and knowing when you need answers from work in that field.
3. Knowing how to get those answers yourself, based on personal mastery of enough of the field's subject matter.

If one has enough knowledge at levels (1) and (2) in enough fields, then one can steer clear of problems in those fields while doing work in a related field where you have knowledge at level (3). And this is a good thing, because knowledge at levels (1) and (2) takes far less time to acquire. But to make proper use of knowledge at levels (1) and (2) requires a harsh discipline: attempt to assume the worst about what you don't know. Don't assume that a poorly-understood physical effect will somehow save your design; do assume (until finding otherwise) that it may utterly ruin it. Without this discipline, you'll become an intellectual hazard. With it, you'll be able to make a real contribution.

Full post... Related link

Technology and society

Two interesting articles on technology and its impact on society. I received the first one from Ergun Bicici. The second one came from Emrah Çevik.

U.C. Berkeley Graduation Speech by Peter Norvig
Economic Possibilities for our Grandchildren by JM Keynes (1930)
Full post... Related link

Bilinç üzerine

Kavram uzayımızda "göründüğü gibi olmama" ödülleri dağıtılsa
herhalde "bilinç" birincilik ödülüne layık görülürdü.

İnsanın aklına gelen "peki bilgileri algılayan kim" sorusu belki
bilinci anlama konusunda bizi en çok uğraştıran soru. İçeride
algıları izleyen bir küçük bilinç (homunculus) varsaymak yetmiyor
çünkü o zaman aynı soruyu küçük bilinç için sormak gerek. Kaldı
ki beyin hakkında bildiklerimiz algıların yakınsandığı bir merkez
fikrini pek desteklemiyor. Desteklese bile bu tatmin edici
olmazdı: beyninizi açıp, işte şuradaki nöron kümesi senin bilincin
deseler bu size çok şey ifade etmeyecek. Örneğin şu an dinlediğim
müziğin işitme merkezimde bir seri nöron tıklaması olarak kod
edildiğini biliyorum ama bu duyduğum müziğin öznel kalitesini
açıklamaya yetmiyor.

Bir alternatif bilinci beynin dışında aramak. Tüm büyük dinler
(Budizm dışında sanırım) manevi bir dünyanın gerçekliğini kabul
ediyor. Bu dualist pozisyon Descartes'tan beri pek çok ciddi
filozof tarafından da savunuldu. Başka konularda düşüncelerine çok
saygı duyduğum Popper bu akımın en son örneklerinden biri
[3]. Buradaki en büyük problem artık her ciddi filozofun enerjinin
korunumu gibi fiziksel kanunlara inanması ve bu da fizik dışında
bir olgunun fiziksel cisimleri (elimiz kolumuz gibi) etkilemesini
imkansız hale getiriyor.

Tabi bu "bilinç" meteryali her ne ise illa fizik dışında olmak
zorunda değil. Dualist pozisyonu korumak için fiziği genişletmeye
ve fizik içerisinde bilinç için yer açmaya çalışanlar da var. Bu
forumda da bahsi geçti daha evvel, örneğin Roger Penrose [4].

Bugünkü bilgimiz ile en tutarlı pozisyon ise bilinç için yeni bir
meteryal aramak yerine bilincin beyindeki işlemlerden ibaret
olduğunu kabul etmek olurdu. Malesef bu meteryalist yaklaşımın
önündeki en büyük psikolojik engel başta sorduğumuz soru: "peki
bilgileri algılayan kim"...

Bu konuda yazılmış çizilmiş çok şey var. Özellikle [1], [2] ve
[5]'i tavsiye ederim. Bilincin bir ilüzyon olduğuna insanın
kendini dürüstçe inandırabilmesi kolay değil (bu arada ilüzyon
"yok", "yalan" anlamında değil, sadece "aslı göründüğü gibi değil"
anlamında).

Başka konularda ilüzyonları yıkmak bir nebze daha kolay. Örneğin
şu an görme duyum bana masami, bilgisayarımı, telefonumu, rafları,
kısaca odamın bu köşesindeki hemen her şeyi rahatça algıladığımı
söylüyor. Fakat basit bir deneyle aslında başparmağımın tırnağı
kadar bir alan dışında hemen hemen kör olduğumu görmem
kolay. Yemekte pilav mercimek vs yediğiniz bir gün, tabağınızda
son kalan tanecikleri tek gözünüzü kapatıp diğerini belli bir
noktaya sabitleyerek saymaya çalışın - ne kadar imkansız olduğunu
göreceksiniz. Ya da eğer partneriniz razı olursa deneyin:
bacağınızın arkasına tek bir sivri cisimle mi dokunulduğunu yoksa
aynı anda aralarında 2-3 cm olan iki farklı cisimle mi
dokunulduğunu ayırdedemeyeceksiniz.

Eğer Memduh haklı ise ve bilinç de zamanı algılamamızı sağlayan
bir duyu oranıysa belki yukarıdakilere benzer ilüzyon yıkıcı
testler tasarlayabiliriz, ne dersiniz?

Susan Blackmore meditasyon tavsiye ediyor. Benim için dönüm
noktası bir gün bana tüm dürüstlüğü ile "evet ben bilinçliyim"
diyecek bir robot yapabileceğime inanmam oldu. Etrafında olup
bitenleri algılayıp hatırlayabilen; başka canlıları, onların niyet
ve isteklerini modelleyebilen; neler yaptıklarını hatırlayıp neler
yapacaklarını tahmin edebilen bir robot, bu analiz gücünü kendi
üzerine çevirdiğinde ne görür tahmin edersiniz? Acaba onu mekanik
bir robot olduğuna inandırabilir miyiz kolay kolay?

[1] Consciousness, A Very Short Introduction -- Susan Blackmore
[2] Consciousness Explained -- Daniel C. Dennett
[3] The Self and Its Brain -- Karl Popper and John Eccles
[4] The Emperor's New Mind -- Roger Penrose
[5] Mind's I -- Douglas Hofstadter and Daniel Dennett

Full post... Related link

Akıllı Tasarım

Bugüne Berkin'in gönderdiği Türkiye'nin ilk "Akıllı Tasarım"
(intelligent design) konferansı ile ilgili mesajı okuyarak
başladım.

http://www.mustafaakyol.org/archives/2007/02/post_1.php

İstanbul Büyük Şehir Belediyesini tebrik ediyorum. Duyduğum
tepkinin kaynağı akıllı tasarım fikrinin yanlış olduğunu
düşünmemden ziyade, bu tip anti-bilim propogandayı bile
Amerika'nın "bible belt"'inden ithal ediyor olmamız. Bir otomobil
tasarımı yaparken orijinal olamamamızı anlıyorum, McDonalds ve El
Torito'yu İstanbul'a getirmemizi anlıyorum, ama sofu fikirler
üretirken lütfen Amerika'nın yardımına ihtiyacımız olduğunu
söylemesin kimse. Bu işte onlardan yüzlerce yıl daha tecrübeliyiz,
daha yaratıcı olabiliriz...

Son fiziksel toplantımızda Memduh tüm bulguları kabul edip açık
fikirli olmasına rağmen evrime inanmakta güçlük çeken birine nasıl
bir argüman sunulabileceğini sorgulamıştı. Bu konuda okuduğum
kitaplar malesef çoğunlukla karşı tarafın straw-man argümanlarıyla
uğraşıyor. Bir yandan aklımı bu kurcalamakta.

Tabi bu arada ders saatim geldi 60 mühendislik öğrencisine
olasılık öğretmek için (günün konusu permutasyon, kombinasyon)
girdim sınıfa. Tahmin edebileceğiniz gibi dersin yarısından
fazlası evrim konusundaki örneklere gitti :)

Şu maymunların rastgele daktilo tuşlarına basarak Shakespeare
yazma örneğini ele alalım. Genelde canlılarda görülen karmaşık
yapıların (göz, beyin, karaciğer) "rastgele" ortaya çıkması bizim
maymunların edebi yetenekleriyle karşılaştırılır. Bu argümandaki
ilk zayıf noktayı öğrenciler hemen buldu: dünyada çok sayıda canlı
çok uzun zamandır evrim oyununu oynamaktaydı bu iş bir iki
maymunun işi gibi değildi. Fakat bu zayıf nokta çökertici
değil. 100,000 harflik tipik bir Shakespeare oyununu rastgele
yazma ihtimali 30^-100,000 gibi bir sayı ki evrenin tüm
parçacıkları big-bang'den beri bu işle uğraşıyor da olsa
yetmiyor. Zayıf nokta maymunların rastgele tuşlara bastığı
varsayımı. Evrimde yanlış tuşa basan maymun vefat ediyor, yazdığı
harf siliniyor, yerine başka maymun geçiyor. Ta ki doğru tuşa
basana kadar. Bu şekilde her harf için ortalama 30 maymun telef
etsek, 3 milyon maymun bir Shakespeare oyununu rahat yazar. Bu
kadar maymun İstanbul'da bile rahatça bulunur.

Fakat tüm bunlar boş. Esas nokta bu değil. Evrime inanmak
istemeyen bir insan bence ikna edilemez. Daha basit bir örnek
vereyim. Eğer ben evrenin bir gün önce başladığına inanmak
istiyorsam kimse beni bunun aksine ikna edemez. Hatıralarım mı?
Ben beynimde o hafızalarla üretildim. Dünyadaki fosiller mi? O
kayalar da o şekilde üretildi. Karbon tarihleme mi? Dün bu işleri
yapan zat o cisimlerdeki C-12 ve C-14 oranını o şekilde
ayarladı. Söyleyebileceğiniz hiçbir şey evrenin dünden önce var
olmadığını ya da yarından sonra var olmayacağını ispatlayamaz bana
- çünkü mantıksal bir delik yok varsayımımda.

Peki o zaman neden olası varsayımlardan biri (evren 14 milyar yıl
önce big-bang ile başladı vs vs) bana diğer varsayımlardan daha
çekici geliyor? Geçenlerde bu forumda bilim nedir ne değildir
(yanlışlanabilirlik vs) konusunu tartıştık. Fakat
yanlışlanabilirlikten kime ne? Benim ne zorum var her söylediğim
yanlışlanabilir olsun diye yırtınayım? Niye bu düşünce sistemini
diğer düşünce sistemlerine tercih ediyorum?

Sonunda iki sebebi olduğuna karar verdim.

Birincisi merak ve estetik. Küçüklükten beri ne nasıl çalışır
merak ediyorum. Canlıları cansızlardan ayıran nedir, dinazorlar
nereden geldi, nereye gittiler, genler nasıl çalışır, hücrelerin
içinde ne olup bitiyor, tüm bileşenlerini bir araya getirsek canlı
hücre yapabilir miyiz - bunların hepsi birbirine bağlı kafamda
dönen sorular. Birilerinin gelip bana böyle oldu çünkü akıllı biri
böyle tasarladı demesi, "bu soruyu sorma" demesinden farklı değil
- dolayısıyla merakımı tatmin etmiyor - ayrıca fikir olarak bir
gecekondu mahallesi kadar estetiği yok.

İkinci sebep fayda. Bilimsel yöntemi kullanarak problemleri
çözebileceğimize, hastalıkları yenebileceğimize, doğayı daha iyi
kontrol edebileceğimize vs. inanıyorum. Hatta bu fikir bana evren
dünden önce var olmasaydı bile cazip geliyor. Sadece evrenin
yarından sonra da var olacağına inanmam merak etmem ve
problemlerle uğraşmam için yeterli. Gerçi yarın evren sona erecek
olsa da matematikle uğraşırdım herhalde.

İşin ilginç tarafı eğer bu son söylediğim doğru ise bilime ve
dolayısıyla evrime inanmayanların teknolojide, tıpta geri kalması
ve evrim kanunlarına göre elimine olmaları beklenebilirdi. Tabi
kurduğumuz sosyal düzen insanların bilimsel inançlarıyla çocuk
yapma sayılarını pek correlated tutmuyor. İronik olurdu öyle
olsa. Sanki evrime inanmayanları evrim cezalandırıyormuş gibi...

Tabi bu da akıllı tasarımcılara karşı ikna edici bir argüman
değil. Çünkü onlar da benim gibilerin pek yakında kutsal bir
felaket sonucu ortadan kaldırılacağına inanıyorlar :)

Full post... Related link