Cara Mudah Menggabungkan Beberapa File txt/csv Besar (Tanpa CoPas)

Seperti anda semua ketahui bahwa jumlah row/baris ms excel itu terbatas sekitar 1jt row. Buat anda yang sering bekerja dengan data yang besar maka ms excel akan sangat kewalahan untuk menampung data yang anda miliki, padahal kita biasanya menggunakan excel untuk melakukan manipulasi dan pengolahan data.

Jika anda menggunakan excel untuk menggabungkan 2 atau lebih file dengan total row lebih dari 1 jt row maka hal itu tidak mungkin anda lakukan. Mungkin anda berpikir untuk mencari software-software kecil yang anda gunakan untuk membantu pekerjaan anda.

Kondisi yang lain, mungkin anda dapat menggunakan ms excel untuk menggabungkan data, namun jumlah file yang anda miliki misalkan 100 file txt atau csv. Mungkin anda akan mati kebosanan untuk melakukannya. Berikut saya berikan langkah sederhana untuk menggabungkan file txt atau csv tanpa menggunakan software tambahan lain.

Pertama nyalakan COMMAND PROMPT dengan mengetik cmd pada kolom pencarian.

cmd1

Arahkan ke direktori pada folder yang berisi file yang anda ingin gabungkan.

cmd3

dapat dilihat bahwa kita memiliki 14 file yang akan digabungkan.

cmd0

Pada command prompt masukan script copy /b *.csv gabung.csv dimana copy /b adalah script default, *.csv berarti menggabungkan semua file yang ada di folder tersebut. Sedangkan gabung.csv adalah nama file hasil penggabungan.

cmd4

Pada folder yang sama akan muncul 1 file bernama gabung.csv

cmd5

Sebelum anda menggunakan file tersebut jika pada file asli anda memiliki header pada datanya, maka anda perlu menghilangkan header tersebut dari file hasil gabungan.

cmd6

Cukup dengan sort datanya dan delete semua row yang berisi header.

cmd7

Setelah langkah terakhir anda lakukan, maka file gabung.csv anda sudah dapat anda gunakan.

 

Bagaimana mengetahui trend data di excel?

Sebelum anda melakukan analisa data yang kompleks, langkah pertama yang anda perlu lakukan adalah mengetahui TREND data yang anda miliki. Dibandingkan melihat dalam bentuk tabular/tabel, akan jauh lebih mudah untuk memunculkannya dalam bentuk grafik.

Selain itu excel memiliki sebuah fitur untuk memunculkan trend dengan sangat mudah, ditambah lagi dengan adanya fitur forecasting atau pendugaan. Adapun langkah [ertama yang anda lakukan adalah membuat grafik line sederhana.

Trendline1

Langkah kedua adalah klik kanan pada grafik garis yang sudah terbentuk dan pilih ADD Trendline

Trendline2

Langkah ketiga adalah memilih jenis pendekatan trend yang paling sesuai dengan karakteristik data. Terdapat 6 pilihan yakni:

  1. Exponential : Cocok untuk data yang karakternya meningkat atau menurun secara berpangkat misalkan 1, 4, 16 dst.
  2. Linear : merupakan pendekatan yang paling populer dimana sebaran data didekati dengan menggunakan garis lurus yang mewakili data. Pendekatan linear cukup sederhana dan paling mudah untuk di interpretasikan.
  3. Logaritmik : jika data pertama dan data kedua memiliki hubungan logaritmik maka tentu saja pendekatan ini akan lebih sesuai.
  4. Polinomial: Jika data anda memiliki puncak dan lembah yang banyak dan tingkat akurasi adalah hal yang anda utamakan maka anda dapat menggunakan polinomial dimana merupakan kombinasi dari exponential dan linear. Khusus untuk polinomial dapat dipilih sampai pangkat ke-sekian
  5. Power: hanya digunakan jika data anda meningkat secara drastis
  6. Moving average: jika data anda bergerask sesuai dengan rata-rata periode sebelumnya, maka anda dapat menggunakan moving average pada data anda.

Trendline3

Langkah terakhir: Setelah anda memilih salah satu pendekatan, anda dapat memilih memunculkan formula trend yang anda pilih dengan memilih display equation on chart. 

Mungkin anda memiliki pertanya bagaimana mengetahui trendline yang anda pilih adalah yang paling baik? Untuk itu kita dapat menampilkan R-squared yang menunjukkan seberapa besar trend yang kita buat merepresentasikan keseluruhan data.

Trendline4

Selain itu kita dapat melakukan forecasting dengan menggunakan trendline yang kita pilih. Untuk meramal kedepan kita dapat menggunakan forward dan untuk masa lalu kita dapat menggunakan backward. Workshet yang saya gunakan dalam tutorial ini dapat di download disini

 

Korelasi tidak bermakna sebab-akibat

Anda mendatangi sebuah seminar, dimana anda disajikan berbagai macam informasi. Lalu anda terpaku pada sebuah grafik yang menurut anda cukup menarik. Coba anda lihat sendiri apakah grafik dibawah ini cukup menarik..

aaeaaqaaaaaaaanoaaaajdu3njk4mjvjltbmogqtndmwmi04mgjjltzkytaxnja0mjhkmw

Wow…ini sangat menarik. Apa hal pertama yang anda lihat? Lihatlah garis biru dan merah yang berdampingan dan saling mengikuti satu sama lain. Apakah anda sejenak berpikir kedua hal tersebut saling berpengaruh satu sama lain? Tunggu dulu! Coba anda perhatikan keterangan grafik diatas. Beneran nih??? Penjualan es krim dan kebakaran hutan?? Logika saya tiba-tiba macet dan berpikir ulang mengenai sebab-akibat, bagaimana mungkin es krim menyebabkan kebakaran hutan??.

Percaya atau tidak kita sering melakukan ini dalam kehidupan sehari-hari, kejadian banjir jakarta disebabkan oleh hujan di bogor, jalanan macet disebabkan oleh banyak angkot, hidup saya menderita karena jokowi jadi presiden. Cukup familiar?? Contoh-contoh diatas memang menggelitik rasa penasaran kita mengenai apa penyebab suatu hal terjadi. Logika jika ini terjadi maka itu terjadi adalah logika sebab akibat. Namun kita harus sangat berhati-hati untuk menghubungkan dua kejadian yang seakan-akan berhubungan namun kenyataannya keduanya hanya semata-mata akibat dari suatu SEBAB yang sama-sama tidak atau belum kita ketahui.

Kembali ke ES KRIM dan KEBAKARAN HUTAN, dengan menggunakan logika sederhana kita mengetahui bahwa keduanya tidak berhubungan, namun ada hal yang menghubungkannya. Kita bisa menggambarkannya sebagai berikut:

Kebakaran hutan—>Suhu tinggi–>Musim Kemarau–>Suhu tinggi—> Makan Es krim–>Penjualan es krim meningkat

Terlihat lebih masuk akal kan?

Kenyataannya memang antara penjualan es krim dan kebakaran hutan mempunyai korelasi yang sangat tinggi let’s say 90% namun demikian tidak serta merta kita bisa menyimpulkan  or berspekulasi bahwa penjualan es krim yang menyebabkan kebakaran hutan atau kebakaran hutan yang membuat penjualan es krim meningkat.

Lalu bagaimana membuktikan bahwa dua variabel punya hubungan sebab akibat? Nah disinilah anda membutuhkan pemodelan regresi dan rancangan percobaan.  Kemampuan metode ini dalam memisahkan faktor-faktor yang benar-benar berpengaruh (secara signifikan) terhadap faktor-faktor lain (termasuk didalamnya adalah error-galat) memberikan kita bantuan apakah sebuah faktor benar-benar memiliki hubungan berpengaruh atau hanya sekedar kebetulan semata.

Sepertinya berikutnya bagus juga untuk membedah rumus korelasi dan rumus anova/regresi untuk menemukan bagaimana metode ini dapat memisahkan faktor kebetulan ini. 🙂

Coba kita lihat rumus korelasi berikut:

korelasi-5

Jika kita bedah rumus korelasi diatas kita hanya melihat jika ada dua variabel X dan Y maka besarnya r hanya ditentukan seberapa besar perubahan X dan Y bergerak pada suatu rentang tertentu. Disini kita hanya dapat menyimpulkan bahwa X dan Y berubah searah (+) atau berlawanan (-) dan jika jarak antara data X dan Y cukup dekat maka korelasinya kuat sedangkan jika jarak antara X dan Y berjauhan maka korelasinya lemah. Jika pertanyaan kita adalah jika X bergerak satu satuan, berapa satuankah Y bergerak? Karena jika pergerakan X tidak membuat Y bergerak sama sekali artinya X tidak mempengaruhi Y.  Dengan perhitungan korelasi, kita tidak mendapatkan informasi pergerakan Y saat X bergerak. Jadi jelas sudah konsep korelasi tidak bisa menjawab kausalitas (Sebab- akibat). Sudah cukup jelas??

Like & share –>jika artikelnya cukup berguna

Komentar–> jika ada yang kurang jelas 🙂

 

First Step in Data Analysis

Saat ini sudah bukan zamannya lagi kita banyak alasan bahwa kita tidak bisa melakukan analisa data karena TIDAK PUNYA DATA, sebaliknya kita malah sekarang masuk ke tahap BINGUNG karena TERLALU BANYAK data yang kita miliki. Konsekuensi yang sering kita temui adalah “apakah kita menggunakan data yang benar untuk mendukung pengambilan keputusan kita?

Empat hal yang perlu anda perhatikan saat memulai analisa data adalah:

  • Tanyakan pertanyaan yang TEPAT
  • Temukan data yang TEPAT untuk menjawab pertanyaan
  • Gunakan tools dan software analisa yang TEPAT untuk mengekstrak informasi dari data
  • Gunakan pengetahuan terkait anda untuk mempertajam kesimpulan

 

 

RFM modelling,  know your customer 

Untuk perusahaan manapun customer,  pelanggan atau nasabah adalah bagian terpenting dari perusahaan. Tidak perlu analisa tingkat tinggi untuk mengetahui bahwa customer yang loyal memberikan keuntungan yang paling tinggi. Lebih-lebih lagi customer yang loyal memberikan value atau nilai bagi perusahaan.

Bagaimana caranya membedakan customer yang loyal dan tidak?  Cara yang paling umum digunakan adalah dengan mengukur seberapa besar profit yang dihasilkan per customer nya. Jika anda punya data ini maka anda sudah memiliki cukup modal untuk analisa segmentasi. Menurut pengalaman saya, bagian yang paling susah adalah mendapatkan data yang sesuai keinginan dan sesuai dengan kebutuhan. Bagian analisa nya sendiri tinggal mengikuti tutorial di artikel. 

So,  back to the business. Jika hanya menggunakan komponen keuangan/ monetary maka value dr informasi yang kita dapatkan hanyalah terbatas pada uang yg dihasilkan. Kita kehilangan informasi mengenai apakah customer tsb melakukan transaksi sekali dalam jumlah besar atau berkali-kali namun dalam jumlah kecil. Nah disinilah kita membutuhkan berapa kali frekuensi transaksi dalam periode tertentu dilakukan. Satu hal lagi yang perlu kita tambahkan adalah mengenai kapan terakhir kali mereka bertransaksi untuk mengetahui apakah customer kita masih terus menggunakan produk atau layanan yang kita miliki. 

Analisa ini cukuplah mudah untuk dikerjakan dan juga cukup mudah untuk diterjemahkan sehingga unit terkait dapat segera mengambil keputusan terkait program marketing atau promosi lainnya. Dengan menambahkan informasi dari model RFM ini perusahaan sudah menggunakan konsep analitik paling dasar dalam pengambilan keputusan customer nya. Langkah pertama ini sangat penting menjadi bagian dari budaya perusahaan, seiring dengan perkembangan bisnis. Kebutuhan analisis yang lebih tinggi otomatis akan semakin dibutuhkan, namun dengan mematangkan konsep dasar ini akan menjadi fondasi yang kuat untuk kedepannya. 

Fun Fact Factory

Sebagai seorang quant (orang yg bekerja denhan angka) kerjaan rutin saya adalah membuat sebuah analisa,  laporan,  dashboard  insight..  Dan teman sepermainannya. Intinya menghasilkan informasi bagi para pengambil keputusan aka decission maker. Well… Intinya mereka bertanya.. Terserah Kamilah bagaimanalah caranya menjawab, yang pasti adalah DEADline nya… Setelah tak terhitung request informasi yg masuk saya melihat beberapa pola yg muncul dr para bos ini. Mereka sangat suka data…  Tapiii tidak semua pertanyaan yg disampaikan berguna utk bisnis. Cuma pengen tahu saja kira2. Jadilah tim report ini menjadi pabrik permen informasi, enak dilidah tapi gak mengenyangkan. 

Dari sekian banyak informasi yang diminta (seringkali berulang)  selalu ada informasi2 yang cukup berharga… Informasi ini jika sampai ditangan yang tepat maka akan menjadi senjata ampuh untuk memajukan bisnis. Rekan2 programmer saya sih udah gak akan sempat mikirin yanag kayak gini, jadilah ex data analis yang jadi project manager ini menjadi pengumpul remah2 ini. Hal yg ditanyakan berulang dibuatkan otomasinya…  Kirim via email..  Schedule kan! Cara yang lain adalah bikinin dashboardnya…  Modal dikit belilah semacam tableau, datazen atau bikin sendiri pake goohle chart klo mau gratisan. Percaya deh…  Anda akan membuat atasan anda senyum2 sendiri dan anda masih ounya waktu buat sekedar baca2 buku yg mungkin udah dari setahun lalu gak tersentuh. 

Ability to see pattern in randomness

life_is_random

Dulu sekali, disalah satu stasiun televisi swasta menayangkan sebuah acara dimana beberapa orang ‘sakti’berkumpul untuk menangkap hantu. Kami yang saat itu masih anak-anak sangat menggandrungi acara ini, apalagi saat salah seorang dari pemburu tersebut membuat lukisan dengan mata tertutup, lalu muncullah gambar makhluk-makhluk aneh dengan ajaibnya.

Beda halnya dengan salah satu karakter novel kesukaan saya Sherlock Holmes, berkali-kali membaca dan menonton film dan serialnya selalu membuat saya berdecak kagum. Kemampuannya dalam memecahkan kasus-kasus kriminal membuat pembaca tenggelam dalam alur cerita yang dituliskan oleh Sir Arthur Conan Doyle.

Lalau apa hubungannya antara pemburu hantu dan Sherlock Holmes? Keduanya memiliki sebuah kesamaan yakni kemampuan melihat sesuatu yang tidak bisa dilihat oleh orang kebanyakan. Walau dalam kasus pemburu hantu saya juga masih ragu apa itu rekayasa atau bukan, tapi ya sudahlah anggap saja mereka bisa lihat.period. Kemampuan ini yang membuat mereka special dan berbeda dengan orang lain yang akhirnya membuat mereka terkenal dan dibayar mahal.

Menurut saya apa yang kita lakukan dalam menganalisa data adalah mencoba melihat pola-pola yang tidak terlihat dari sekumpulan data atau kejadian yang seakan-akan acak dan chaos. Dalam era social media ini, perusahaan selalu mencoba untuk lebih baik dari perusahaan lain dengan berbagai cara, salah satu nya adalah membuat produk yang berbeda dan lebih baik dari pesaingnya. Semakin banyak kita tahu tentang informasi lebih dari pesaing kita, maka semakin besar peluang kita menang.

Di zaman dimana semua aktifitas kita terekam lewat sebuah alat yang bernama smartphone ini, maka tidak ada lagi batasan antara kita dengan perusahaan penghasil produk. Tergantung apakah mereka mampu menemukan pola/pattern yang kita hasilkan. Dapatkah mereka memberikan sebuah penawaran/solusi/produk/jasa yang sesuai dengan kebutuhan kita.

Pertanyaan untuk kita adalah apakah anda mampu melihat pola yang teratur dalam sebuah kejadian acak?

Reporting with No Ending

​Saat ini adalah zaman reporting. Betapa tidak hampir semua pekerjaan di semua perusahaan mewajibkan karyawannya utk membuat lawan laporan yang kemudian akan dibaca oleh atasannya.  Atasannya akanmembuat juga laporan berdasarkan laporan bawahan utk atasannya lagi..  Begitu seterusnya sampai diatas mereka hanya bisa melapor kepada Tuhan. 

Dalam membuat laporan,  komponen yang tdk terpisahkan adalah data dan informasi. Baik data yg sdh tersedia di database atau data yg anda kumpulkan di lapangan. 

Utk staff yang memang tugasnya membuat laporan bagian pekerjaan yg paling membuat stress bukanlah banyaknya laporan melainkan laporan yang berubah ubah formatnya. Seakan2 informasi yang baru sejam yg lalu dibuat telah masuk waktu expired. Blm lagi kalau laporan yang dibuat membutuhkan data yg tdk tersedia di sistem. Alamak! Berasa ingin lompat dr jendela kantor. Sayangnya langsung nyebur neraka.. Huff. 

Akhir2 ini saya sudah mulai bisa membuat sebuah sistem pelaporan yang cukup membuat pinggang saya bisa bersandar lega…  Ingat yabg dibuat itu sistem nya..  Bukan hanya laporan aja. Penambahan data atau sekedar update tanggal tidak lagi bikin sakit kepala. Bagi yang masih sakit kepala monggo dikomen 🙂 

Company Journey to analytics

big-data-analytics-framework

Gembar gembor big data dan data science mulai membuat ruang diskusi yg bertema komputer,  data dan statistik menjadi lumayan gaduh. Vendor pun dengan manisnya merayu perusahaan2 yang haus growth dengan janji manis bahwa produk mereka akan membuat perusahaan anda menjadi yang paling maju diantara perusahaan lain. Dengan gelontoran miliaran rupiah akan men-generate profit triliun an.

In fact thats too much! Pada kenyataannya apa yg kita butuhkan sebenarnya ada disekitar kita. Data,  tools,  dan talented people hamoir semuanya tersedia di organisasi anda. Apakah anda cukup pintar utk menemukan mereka? Pada dasarnya yang paling diperlukan adalah orang yang mau bersusah payah mencoba dalam keterbatasan yg dimiliki. Jika anda memiliki tim seperti itu maka anda akan dimanjakan dengan output super cepat saat mereka diberikan mainan yg lebih canggih. Tambahkan kedalam ramuan itu seorang leader yg mengerti sedikit teknis dan cakap dalam komunikasi maka saya jamin perusahaan anda berada di jalur kesuksesan.