Showing posts with label Data WareHouse. Show all posts
Showing posts with label Data WareHouse. Show all posts

Friday, December 30, 2011

Show Table Name and Primary key on postgresl

Untuk mengetahui table name dan primary key saja dalam postgresql querynya seperti berikut

 SELECT table_name, column_name, ordinal_position FROM information_schema.key_column_usage ;

sample outputnya :

 

Wednesday, April 6, 2011

Install Oracle Database XE Server on Ubuntu Linux

Sebelum melakukan instalasi lakukan beberapa hal,sebagai berikut:
  • Membaca Bismillah.
  • Menggunakan pintu jangan menggunakan jendela :P
  • Setelah itu Buka laptop menggunakan dan gunakan platform unix ato turunannya linux ato minix ato bsd ato yang lain yang penting jangan gunakan jendela* halahh sok ideologis
pastikan laptop anda menggunakan memory >= 1GB
dan ketik command ini diterminal dan gunakan user root terlebih dahulu.
$ sudo dd if=/dev/zero of=/swpfs1 bs=1M count=1000
$ sudo mkswap /swpfs1
$ sudo swapon /swpfs1


sekarang abdi teh menggunakan induk debian turunannya Ubuntu.
ketik di terminal command ini:
gedit /etc/apt/sources.list

dan tambahkan url ini didalamnya:
deb http://oss.oracle.com/debian unstable main non-free

disave dan diclose serta tambahkan key-nya dengan command ini:
wget http://oss.oracle.com/el4/RPM-GPG-KEY-oracle -O- | sudo apt-key add -

Setelah disave dan diupdate:
apt-get update

Lakukan instalasi dengan command dibawah ini:
sudo apt-get install oracle-xe

Output:
root@dendy-laptop:/home/dendy# sudo apt-get install oracle-xe
Reading package lists... Done
Building dependency tree      
Reading state information... Done

kalo dah selesai coba jalankan oracle yang telah diinstall:
buka browser,disini abdi menggunakan firefox
http://localhost:8080/apex/f?p=4550:11:1486930891694086::NO:::

setelah membuat user dan pass akan tampil seperti dibawah ini:
biasanya usernya adalah system
warung buncit.
ANDIA,PT
lagi sarapan bubur kacang ijo 08:05WIB

Tuesday, December 15, 2009

DATABASES

data warehousing
http://www.axiomsl.com/» Axiom Software Laboratories, Inc. - Provider of technology for enterprise and e-finance data management infrastructure as a platform for decision support applications.

http://www.dag.com/» Data Advantage Group, Inc. - DAG specializes in software development, platform unification, and systems integration for decision support solutions (DSS).

Monday, December 7, 2009

Hadoop


Hadoop adalah framework software berbasis Java dan opensource yang berfungsi untuk mengolah data yang sangat besar secara terdistribusi dan berjalan di atas cluster yang terdiri dari beberapa komputer yang saling terhubung. Hadoop dapat mengolah data dalam jumlah yang sangat besar hingga petabyte dan dijalankan di atas ribuan komputer. Terinspirasi dari whitepaper Google yang membahas tentang MapReduce dan Google File System .
Dibuat oleh Doug Cutting dan nama hadoop ini berasal dari boneka gajah milik anaknya. Asal muasalnya hadoop ini adalah sub project dari Nutch yang digunakan untuk Search Engine. Hadoop bersifat open source dan berada dibawah bendera Apache Software Foundation.
Inti dari hadoop adalah terdiri dari :
1. HDFS (Hadoop Distributed File System) - Data yang terdistribusi
2. MapReduce - Framework dari aplikasi yang terdistribusi

Sunday, December 6, 2009

Roadmap pentaho

roadmap pentaho

1. BI Server dan eksplorasi contoh-contohnya. Lihat berbagai reporting dan
perhatikan perbedaannya. Reporting disini asalnya adalah dari 3 sumber :
Pentaho Reporting, Pentaho Data Analysis (Mondrian) dan Pentaho Metadata.

Kemudian setelah itu eksplorasi contoh Kettle di BI Server. Itu berupa
background process yang melakukan sesuatu, walaupun tampil di web hanya
outputnya tapi prosesnya berjalan di console.

Setelah lihat sampel di web consolenya coba perhatikan folder-folder di
[BI-Server]/pentaho_solutions. Walaupun pada tahap ini bingung tapi
lihat-lihat aja untuk melihat apa saja yang ada disana. Perhatikan file2
xaction yang bertebaran dimana-mana. File ini adalah "glue" untuk semua
komponen Pentaho.

O iya... jangan pusingin dulu cara-cara buatnya ;)

2. Pentaho Reporting, karena ini tidak membutuhkan pengetahuan yang banyak
maka belajar ini dulu untuk buat reporting biasa. Kemudian cari tahu cara
publish ke server. Perhatikan pada saat publish ke server file report ini
akan jadi .xaction.

3. Kettle => ETL Serba guna. Cari tahu cara integrasi ke BI Server.

4. Mondrian => Ini tidak bisa hanya pelajari aplikasinya tapi perlu tahu
data warehouse, multidimensional modelling (OLTP -> OLAP), dan cara membuat
cube, dimension, measure melalui skemanya. Dari Mondrian ini pelajari juga
MDX (bahasa query untuk cube)

5. Design Studio. Setelah tahu kesemua komponen di atas, pelajari Design
Studio yang digunakan untuk membuat .xaction dan pada titik ini pelajari
detil2 xaction dari forum, source code, dsbnya.

6. Weka, setelah data bersih semua dan kita bisa membuat dimensional
modelling saatnya mengekstrak informasi sebanyak-banyaknya dengan
menggunakan utilitas data mining (Weka). Disini harus punya
pengetahuan/abstraksi yang kuat pemodelan data, strategi penggunaan
algoritma dan metode statistik, dan berbagai pengetahuan AI yang berkaitan
dengan machine learning. Karena disini kita akan "melatih" weka untuk
mengenali data - bukan "mempelajari" data.

Tuesday, December 1, 2009

Business Intelligence


Business Intelligence(BI) adalah sebuah proses untuk meningkatkan keunggulan kompetitif perusahaan melalui pendayagunaan berbagai data, informasi, dan pengetahuan (knowledge) yang dimiliki oleh perusahaan sebagai bahan baku dalam proses pengambilan keputusan. Berbeda dengan sejumlah aplikasi dengan tujuan serupa yang lebih dahulu diperkenalkan, konsep BI menekankan pada penerapan 5 (lima) pendayagunaan informasi untuk keperluan spesifik bisnis, masing-masing adalah:
1. Data Sourcing – berkaitan dengan kemampuan sistem untuk mengakses berbagai data dan informasi dari sejumlah sumber dan format yang berbeda
2. Data Analysis – berkaitan dengan kemampuan sistem untuk membantu proses penciptaan pengetahuan (knowledge) melalui aktivitas pengkajian data dan informasi yang dimiliki oleh perusahaan;

pentaho


Pentaho adalah kumpulan aplikasi Business Intelligence yang bersifat free open source software (FOSS) .

Pentaho juga sekaligus merupakan nama perusahaan Pentaho corp yang mengerjakan aplikasi ini. Pentaho corp berpusat di Orlanda, Amerika Serikat.

Thursday, November 26, 2009

Apa itu Kettle ?

Kettle adalah aplikasi ETL (Extract, Transformation and Load) yang sangat populer dan merupakan salah satu ETL terbaik di pasar BI dunia saat ini.
Kettle Splash Screen

Aplikasi Kettle sendiri merupakan bagian dari aplikasi BI Pentaho. Sebelumnya proyek ini berdiri sendiri dan kemudian diakuisisi oleh Pentaho pada tahun 2006. Sejak diakuisisi oleh Pentaho, Kettle dikenal juga dengan Pentaho Data Integration (PDI).

Kettle merupakan merupakan inisiatif dari Matt Casters yang sampai saat ini tetap aktif sebagai project leader dari Kettle.

Kettle terdiri dari 4 aplikasi, yaitu :

* Spoon, yaitu aplikasi grafis berbasis swing yang digunakan untuk merancang file skema job dan transformation
* Pan, yaitu script yang digunakan untuk menjalankan file skema transformation melalui terminal / command line
* Kitchen, yaitu script yang digunakan untuk menjalankan file skema job melalui terminal / command line
* Carte, yaitu temporary web server yang digunakan untuk mengeksekusi job/transformation secara cluster atau parallel

Kesemua aplikasi tersebut di atas dijalankan melalui shell atau batch script yang berkaitan.
[sunting] Fitur Kettle

Fitur-fitur Kettle antara lain :

* Memiliki utilitas grafik yang dapat digunakan merancang skema step atau langkah kontrol dan transformasi data.
* Multi platform - karena dikembangkan di atas Java yang notabene berjalan di banyak platform.
* Bersifat concurrent, dalam arti row-row data diambil oleh suatu step dan diserahkan ke step lain secara parallel. Artinya tidak menunggu sampai suatu koleksi data diambil secara keseluruhan terlebih dahulu.
* Scalable - dapat beradaptasi dengan penambahan kapasitas memori RAM atau pun storage (scale up) dan dapat dengan penambahan node komputer atau cluster lain (scale out).
* Koleksi step transformation dan job yang cukup banyak
* Extensible, artinya kita dapat membuat step transformation dan job baru dengan Java
* Dukungan luas berbagai produk database yang terkenal di pasaran baik itu proprietary maupun free open source seperti Oracle, SQL Server, MySQL, dan lain sebagainya.

Dapat kenalan baru..hehehe.pentaho namanya.^^

Apa itu Pentaho ?
Pentaho adalah kumpulan aplikasi Business Intelligence yang bersifat free open source software (FOSS) .

Pentaho juga sekaligus merupakan nama perusahaan Pentaho corp yang mengerjakan aplikasi ini. Pentaho corp berpusat di Orlanda, Amerika Serikat.

Selain sifatnya gratis dan adopsi yang semakin hari semakin luas, dukungan Pentaho bisa didapatkan dari Pentaho corp dan / atau partnernya di seluruh dunia termasuk di Indonesia.

Support Pentaho adalah dalam bentuk SLA dan dipaketkan dalam versi Enterprise Edition, bersifat annual subscription.

Apa saja kumpulan aplikasi Pentaho ?
Pentaho terdiri dari beberapa aplikasi berikut :

1.
Pentaho Reporting
* Ad Hoc Report Designer Pentaho
* Engine reporting yang bisa di-embed di aplikasi Java
2.
Pentaho Analysis Server / Mondrian
* OLAP server open source terpopuler dan digunakan di berbagai produk BI open source
3.
Pentaho Data Integration / Kettle
* Utilitas ETL open source paling populer
* Memiliki disainer grafis dan engine untuk menjalankan proses integrasi data di background
4.
Pentaho Data Mining / Weka
* Utilitas data mining yang sangat populer dan digunakan untuk predictive analysis
* Mendukung standar PMML
5.
Pentaho BI Server / Platform
* Server BI yang berisi integrasi dan flow of action dari berbagai komponen yang built in maupun custom-made
* Berjalan sebagai Java web application

PHI-Integration
PHI-Integration sendiri saat ini adalah partner Pentaho sebagai system integrator Pentaho di Indonesia sejak tahun 2006.


pentaho bisa juga di pakai oleh excel dan digunakan buat reporting

sekian terima kasih perkenalannya.

Beberapa utilitas dasar pentaho

Beberapa utilitas dasarnya adalah :
1. Mondrian / Pentaho Analysis, adalah OLAP server open source paling populer (lainnya PALO) bersifat open source. Buat yang biasa bermain pivot table di Microsoft Excel (bisa melihat data dari berbagai sisi) maka OLAP server ini adalah fungsi untuk menghasilkan laporan demikian.
2. Kettle - utilitas integrasi data atau biasa disebut juga sebagai utilitas ETL (Extract, Transform, Load) yang digunakan untuk membaca berbagai sumber data dan menyimpan outputnya kembali ke berbagai tempat penyimpanan. Selain itu kontrol flow lainnya juga ada seperti kirim email, mengirim file lewat ftp, menghapus file, dsbnya juga terdapat di Kettle. Kettle biasanya digunakan untuk melakukan data warehousing sehingga bisa dibaca oleh OLAP Server.
3. JFreeReport - reporting engine yang digunakan oleh Pentaho untuk menghasilkan report yang bisa diekspor ke diantaranya format PDF dan XLS.
4. Pentaho Report Designer - merupakan utilitas GUI untuk membuat report di Pentaho
5. Weka - Utilitas data mining dengan berbagai formula untuk mengenali pattern dari data historis
6. Pentaho Meta Data Designer - Digunakan untuk membuat data dictionary / mapping data sehingga bisa digunakan oleh BI Platform / Solution Engine Pentaho.

Sedangkan platform BI yang dimaksud adalah workflow / solution engine yang dikembangkan oleh pihak Pentaho. Disini kita bisa menggabungkan semua utilitas di atas baik untuk frontend maupun backend processing.

BI-Server - Aplikasi BI server Pentaho berupa interface web dan di backgroundnya berjalan platform BI Pentaho.