Mengenal data geocode/spasial

Saat saya menyusun skripsi S1, saya mempertimbangkan untuk mengambil judul yang berkaitan dengan bionformatika namun apadaya ilmu saya masih sangat dangkal dan referensi yang saya miliki benar-benar terbatas. Akhirnya pilihan saya adalah topik yang lebih membumi yakni mengenai spasial analysis. Singkat cerita setelah masuk ke dunia kerja, saya menemukan ternyata banyak sekali informasi spasial yang digunakan. Tampilan grafiknya pun sudah cakep-cakep, jauh sekali dengan saat zaman saya kuliah dimana petanya pun hitam putih dan lokasi hanya ditunjukkan dengan titik dan warna.

maps_build9

contoh map dari tableau

Kombinasi antara informasi non spasial dengan informasi spasial benar-benar memberikan dampak yang besar dalam cara berpikir kita. Bagi ada yang sudah familiar dengan software-software visual analytic atau business intelligence tidak akan asing lagi menampilkan data dengan map chart, namun tulisan saya ini bermaksud memperkenalkan jenis data ini kepada mereka yang baru mengenal dunia visual analytic.

Hal pertama yang perlu kita tahu adalah konsep latitude dan longitude. Saya kutip saja nih pengertiannya:

Latitude adalah garis yang horisontal / mendatar. Titik 0 adalah sudut ekuator, tanda + menunjukan arah ke atas menuju kutub utara, sedangkan tanda minus di koordinat Latitude menuju ke kutub selatan.

Longitude adalah garis lintang . Angka dari sudut bundar bumi horisontal. Titik diawali dari 0 ke 180 derajat, dan 0 ke-180 ke arah sebaliknya.

link lengkapnya

Data long-lat inilah yang menjadi petunjuk kita untuk menemukan lokasi sebuah tempat di permukaan bumi. Baiklah supaya lebih konkrit saya telah mengunduh data sample di disini untuk kita visualkan.

Disini kita akan menggunakan software ms excel yang semua orang bisa menggunakannya. Setelah anda mengunduh datanya, kalian bisa membuat visualisasi seperti ini.map_excel_jadi

Beneran ini cuma bermodal ms excel 2016. Keren kan?? Coba bayangkan kalian bikin presentasi dengan menggunakan chart keren ini…Ada yang butuh tutorial untuk bikin map kayak gini? Let me know…

Advertisements

Cara Mudah Menggabungkan Beberapa File txt/csv Besar (Tanpa CoPas)

Seperti anda semua ketahui bahwa jumlah row/baris ms excel itu terbatas sekitar 1jt row. Buat anda yang sering bekerja dengan data yang besar maka ms excel akan sangat kewalahan untuk menampung data yang anda miliki, padahal kita biasanya menggunakan excel untuk melakukan manipulasi dan pengolahan data.

Jika anda menggunakan excel untuk menggabungkan 2 atau lebih file dengan total row lebih dari 1 jt row maka hal itu tidak mungkin anda lakukan. Mungkin anda berpikir untuk mencari software-software kecil yang anda gunakan untuk membantu pekerjaan anda.

Kondisi yang lain, mungkin anda dapat menggunakan ms excel untuk menggabungkan data, namun jumlah file yang anda miliki misalkan 100 file txt atau csv. Mungkin anda akan mati kebosanan untuk melakukannya. Berikut saya berikan langkah sederhana untuk menggabungkan file txt atau csv tanpa menggunakan software tambahan lain.

Pertama nyalakan COMMAND PROMPT dengan mengetik cmd pada kolom pencarian.

cmd1

Arahkan ke direktori pada folder yang berisi file yang anda ingin gabungkan.

cmd3

dapat dilihat bahwa kita memiliki 14 file yang akan digabungkan.

cmd0

Pada command prompt masukan script copy /b *.csv gabung.csv dimana copy /b adalah script default, *.csv berarti menggabungkan semua file yang ada di folder tersebut. Sedangkan gabung.csv adalah nama file hasil penggabungan.

cmd4

Pada folder yang sama akan muncul 1 file bernama gabung.csv

cmd5

Sebelum anda menggunakan file tersebut jika pada file asli anda memiliki header pada datanya, maka anda perlu menghilangkan header tersebut dari file hasil gabungan.

cmd6

Cukup dengan sort datanya dan delete semua row yang berisi header.

cmd7

Setelah langkah terakhir anda lakukan, maka file gabung.csv anda sudah dapat anda gunakan.

 

Bagaimana mengetahui trend data di excel?

Sebelum anda melakukan analisa data yang kompleks, langkah pertama yang anda perlu lakukan adalah mengetahui TREND data yang anda miliki. Dibandingkan melihat dalam bentuk tabular/tabel, akan jauh lebih mudah untuk memunculkannya dalam bentuk grafik.

Selain itu excel memiliki sebuah fitur untuk memunculkan trend dengan sangat mudah, ditambah lagi dengan adanya fitur forecasting atau pendugaan. Adapun langkah [ertama yang anda lakukan adalah membuat grafik line sederhana.

Trendline1

Langkah kedua adalah klik kanan pada grafik garis yang sudah terbentuk dan pilih ADD Trendline

Trendline2

Langkah ketiga adalah memilih jenis pendekatan trend yang paling sesuai dengan karakteristik data. Terdapat 6 pilihan yakni:

  1. Exponential : Cocok untuk data yang karakternya meningkat atau menurun secara berpangkat misalkan 1, 4, 16 dst.
  2. Linear : merupakan pendekatan yang paling populer dimana sebaran data didekati dengan menggunakan garis lurus yang mewakili data. Pendekatan linear cukup sederhana dan paling mudah untuk di interpretasikan.
  3. Logaritmik : jika data pertama dan data kedua memiliki hubungan logaritmik maka tentu saja pendekatan ini akan lebih sesuai.
  4. Polinomial: Jika data anda memiliki puncak dan lembah yang banyak dan tingkat akurasi adalah hal yang anda utamakan maka anda dapat menggunakan polinomial dimana merupakan kombinasi dari exponential dan linear. Khusus untuk polinomial dapat dipilih sampai pangkat ke-sekian
  5. Power: hanya digunakan jika data anda meningkat secara drastis
  6. Moving average: jika data anda bergerask sesuai dengan rata-rata periode sebelumnya, maka anda dapat menggunakan moving average pada data anda.

Trendline3

Langkah terakhir: Setelah anda memilih salah satu pendekatan, anda dapat memilih memunculkan formula trend yang anda pilih dengan memilih display equation on chart. 

Mungkin anda memiliki pertanya bagaimana mengetahui trendline yang anda pilih adalah yang paling baik? Untuk itu kita dapat menampilkan R-squared yang menunjukkan seberapa besar trend yang kita buat merepresentasikan keseluruhan data.

Trendline4

Selain itu kita dapat melakukan forecasting dengan menggunakan trendline yang kita pilih. Untuk meramal kedepan kita dapat menggunakan forward dan untuk masa lalu kita dapat menggunakan backward. Workshet yang saya gunakan dalam tutorial ini dapat di download disini

 

Story Telling dengan Data??

data-storytelling-lifecycle-via-infogr-am-sept-2014

Pada postingan sebelumnya saya pernah menuliskan bagaimana teknik penyajian dengan stroy telling atau tutur cerita adalah salah satu cara paing efektif untuk menyampaikan informasi dengan baik. Dengan cara ini orang yang menjadi audiens akan lebih PERHATIAN, MENYIMAK, dan MENGINGAT informasi yang kita sampaikan dengan lebih baik.

Saya adalah orang data dan saya suka bercerita. Saya bercerita dengan data. Ini adalah gaya komunikasi yang saya gunakan dan saya sangat menyukainya. Ingin tahu apa saja yang diperlukan untuk membuat sebuah story telling dengan data? Let’s get started.

Bagi anda yang bekerja di perusahaan yang berbasis teknologi, tentunya anda akan menemukan sebuah divisi khusus yang mengelola data dan infrastrukturnya. Umumnya disebut divisi IT, sebagian perusahaan malahan sudah memiliki divisi yang jauh lebih spesifik yang mengelola jenis data yang sekarang sedang ng-trend yakni BIG DATA.

Apapun jenis perusahaan tempat anda bekerja, baik anda di unit operasional maupun unit bisnis anda akan sering diminta melakukan analisa bisnis baik rencana, monitoring maupun laporan akhir. Hasil laporan yang anda buat kemudian akan disampaikan pada atasan anda, atau atasan dari atasan anda. Disinilah DATA STORY berperan. Anda bisa memilih untuk menampilkan datanya dalam bentuk tabel seperti ini?6-12-chart_4Atau anda menampilkan dengan beberapa grafik seperti ini?

figure-2

Apapun pilihan anda dalam menampilkan presentasi anda, pastikan anda membuatnya dengan cara yang benar. Btw, untuk kedua cara penyajian data diatas apa insight yang bisa anda dapatkan? Well, jujur saja saya sendiri kesulitan setengah mampus untuk membaca apa sebenarnya tujuan dari si pembuat grafik/tabel.

Pada data story salah satu hal yang perlu kita tekankan adalah KESEDERHANAAN (SIMPLICITY). Data seperti halnya dengan sumber informasi lain, seperti quote atau informasi dari ahli hanyalah ALAT untuk kita bercerita. Intinya adalah TUJUAN/MAKSUD kita agar bisa tersampaikan dengan baik. Thats all. Semakin banyak data yang anda tampilkan TIDAK membuat anda semakin PINTAR atau semakin JAGO, sebaliknya hal tersebut hanya menunjukkan anda TIDAK TAHU YG ANDA INGIN SAMPAIKAN.

Ada istilah sink or swim ini adalah istilah yang digunakan untuk menggambarkan bahwa dengan jumlah informasi yang begitu banyak, dapatkah anda menggunakan kemampuan anda untuk swimming diantara lautan informasi ini ataukah anda adalah orang-orang yang  sinking karena tidak mampu menggali dan memanfaatkan data dan informasi yang begitu banyak sehingga seakan-akan tenggelam dalam lautan data/informasi ini. Bagaimana dengan anda? Sudah bisa berenang atau masih kesusahan berjuang kepermukaan?

harrypotter5posterarticle-2559322-06775c8100000514-99_634x705

Apa cerita kesukaan anda? Harry Potter? Sherlock Holmes? Secara pribadi saya suka sherlock holmes, alasannya banyak kejutan-kejutan tidak terduga (UNEXPECTED) yang saysa temukan sepanjang cerita. Tentu saja kejadian itu begitu kuat teringat didalam ingatan. Dengan cara yang sama, kita berusahan menampilkan sesuatu yang UNEXPECTED di dalam data story kita. Kita lakukan berbagai analisa dari yang sederhana sampai yang complicated untuk menampilkan hal-hal yang tidak kasat mata. Sesuatu yang tidak disadari dan hanya bisa ditampilkan dengan menggali data. Cerita yang didalamnya ada hal yang UNEXPECTED akan sangat menarik untuk disimak, other way akan sangat membosankan.

Pernahkah anda menyimak sebuah presentasi dimana pada akhir sesi presentasi anda bukannya anda mendapatkan informasi malahan anda semakin bingung? Anda tidak menemukan kejelasan dalam presentasi tersebut. Dalam sebuah penyampian cerita anda harus konkrit (CONCRETE) artinya harus jelas, solid dan tidak membingungkan. Hal yang paling penting dari sebuah cerita adalah pesan yang akan disampaikan. Pesan inilah yang harus secara jelas dan solid tersirat dan tersurat dalam sebuah presentasi. Hindari penggunaan aksesoris yang berlebihan sehingga membuat tujuan utama dari presentasi tersebut menjadi blur dan tidak jelas.

honesty

Jika anda pernah membaca atau mendengar How To Lie With Statistics, maka anda pasti tahu apa yang akan saya bicarakan berikut ini. Ya, masalah kredibilitas (CREDIBILITY). Seorang Data analyst atau siapapun yang melakukan pengolahan data wajib mempunyai kredibilitas dalam menyajikan datanya. Tanpa sikap ini maka apapun yang akan disampaikan berikutnya tidak lebih dari omong kosong. Data tidak pernah berbohong, manusialah yang berbohong. Namun ditangan yang tepat data akan menjadi sesuatu yang luar biasa yang bisa menjadi pembeda antara kesuksesan dan kegagalan. Kebenaran dan kenyataan yang terkandung didalam data inilah yang perlu digali dan ditemukan oleh orang-orang yang kredibel. Sifat data analyst atau pengolah data inilah yang akan menentukan kredibilitas dari cerita atau informasi yang anda akan dapatkan.

Karena sekarang lagi ngetrend kpop, maka saya coba kasih contoh yang kekinian. Pernah lihat drama korea? Salah satu yang ngetrend dulu adalah Endless Love… sampai-sampai sebuah tabloid membuat sebuah grafik trendline jumlah air mata pemirsa yang terkuras untuk tiap episodenya… what?? Untuk yang sekarang silahkan pilih sendiri jenis film atau drama yang anda suka… Apa kesamaan dari semua film-film tersebut? Ssatu yang menurut saya selalu ada selain aktor-aktor ganteng dan selalu kaya dan cewek cantik yang urakan dan miskin.. hehe.. adalah EMOSI... Saat emosi pemirsa terlibat, maka semua urusan mengenai perhatian dan pengingatan akan menjadi mudah.. Emosi membuat keterikatan dan membuat proses mengingat menjadi lebih mudah dan kuat karena tidak hanya otak yang mengingat, namun seluruh anggota badan.

Dalam presentasi kita harus membuat sebuah alur cerita dan alur tutur yang membangkitkan emosi dari audiens kita. Pilihlah contoh-contoh atau pilihan-pilihan gambar yang punya koneksi dengan audiens, pilihan warna-warna yang mewakili simbol-simbol emosi tertentu dan yang paling penting tampilkan data dan informasi yang membuat audiens kita ‘WOW’. Memang membangun emosi audiens ini membutuhkan keterampilan berbahasa dan gesture yang tepat. Sekali anda bisa menguasainya anda dapat membuat audiens anda melakukan hal-hal yang anda inginkan. Thats the point.

Hal terakhir yang menurut saya perlu ditambahkan dalam ramuan data story kita adalah STRUCTURE. Saat anda punya banyak informasi yang sangat ingin anda sampaikan namun anda punya waktu yang sangat terbatas maka pastikan bahwa story anda tersusun dengan STRUCTURE yang membentuk alur cerita. Hindari lompatan logika dan lompatan kesimpulan yang akan membuat alur cerita menjadi kacau.

Hope this blogs post find you in great condition.. 🙂

 

Langkah-Langkah Analisa Data Part 1 Setengah masalah selesai dengan pertanyaan

Tidak ada hari tanpa excel dan data. Ini mungkin gambaran yang paling tepat untuk menggambarkan pekerjaan yang saya lakukan. Walaupun untuk mengekstrak datanya sudah ada SAS or MySQL dan untuk visualisasinya sudah pake Tableau, kemudahan pengolahan data excel emang paling T.O.P.

Seingat saya, waktu jaman kuliah juga gak terlepas dengan menggunakan excel, bikin tabulasi data survey, sekedar deskriptif stat sih gak ada masalah. Baru beberapa tahun ini aja kenal beberapa trik keren yang excel punya.

Sekarang ini katanya sih era BIG DATA, buat yang punya tools yang keren dan ngerti dikit API, mungkin ngerti dengan istilah ini. Tapi saya sendiri sih masih jarang gunain data ini, masih data-data yang ‘kecil’ dan terstruktur. Makanya saya share hal-hal basic aja dalam hal pengolahan data, hal biasa yang bisa sangat membantu hidup anda.

Sebelum anda melakukan analisa apapun pada data anda, hal yang anda paling butuhkan adalah identifikasi masalah apa yang anda ingin jawab dengan data yang anda miliki? Tulislah setiap pertanyaan yang anda miliki di kertas kerja anda. Jika saya mengatakan tulislah, maka jangan sungkan mencoret-coret kertas anda untuk menulis pertanyaan. Satu filosofi yang saya pegang adalah “jika anda sudah bisa membuat pertanyaan yang jelas dan akurat, anda sudah mengerjakan setengah pekerjaan anda”

Pernahkah ditanya manakah yang “lebih baik” samsung atau apple? Berapa penjualan kita bulan lalu? atau manakah yang harus saya pilih, beli rumah atau apartemen?

Dapatkah anda membedakan mana pertanyaan yang baik, mana yang tidak?

Step by Step Menampilkan Grafik dari Google SpreadSheet

Karena penasaran dengan cara orang-orang menampilkan chart-chart yang interaktif di websitenya. Maka saya coba cari artikel tentang how to nya. Setalah mencoba sendiri, saya tampilkan hasil coba-coba saya. Lets check it out 🙂

  1. Buatlah file seperti halnya anda membuat file di Ms Excel.

table spreadsheet

2. Kemudian block file yang anda inginkan untuk disajikan dalam bentuk grafik, dan pilih chart editor. Setelah itu pilih jenis chart sesuai dengan kebutuhan anda.

Pilih chart editor

3. Setelah anda memilih chart yang dinginkan, pilih insert dan anda akan melihat hasil chart pada google spreadsheet anda. Pilih Publish chart.

pilih menu pojok

4. Setelah memilih publish chart, anda akan menemukan tampilan link dan embedded. Agar chart langsung tampil pada page anda pilih embedded dan copy link nya.

copy link chart embedded

5. Karena saya menggunakan wordpress maka penjelasan berikutnya menyesuaikan dengan domain blog masing-masing. Pada menu wordpress saat anda membuat new post akan ada menu insert link. Pilih insert link dan paste link yang anda copy sebelumnya dari google spreadsheet.

Copy URL dan Link Text

6. Setelah anda selesai semua langkah di atas. Anda bisa lihat hasilnya seperti chart dibawah ini. Mudah bukan??