Selamat Datang di Danau Ajijic Chapala Mexico AccessLakeChapala adalah portal real estat interaktif dan panduan informasi yang dibuat oleh penduduk tepi danau yang mengenal dan mencintai daerah tersebut. ALC adalah butik online yang menawarkan pengalaman interaktif total dengan setiap artikel yang Anda baca dan rumah yang Anda lihat melalui teknologi internet terdepan. Kami membawa Anda lebih jauh dari situs web lain yang pernah Anda lihat secara online, ke lingkungan yang nyata, dinamis, dan terinspirasi dengan banyak informasi di bidang ini, konten asli dan kombinasi fitur yang meninggalkan sebagian besar situs web. Kami memberikan detail tanpa akhir untuk semua konten dan cantuman kami melalui video YouTube, peta Google dan tayangan slide. Selain itu, Anda akan menemukan posting blog informatif, semua tentang tinggal dan pindah ke Danau Chapala. Melalui ALC, Anda akan dapat menjelajahi pilihan daftar detail kami yang luar biasa, melihat video ultra garing dan membaginya dengan teman Anda melalui media sosial kami. Apa yang ditawarkan Ajijic Mexico di area Lakeside adalah pengalaman unik. Sementara komunitas ekspat di beberapa tempat lokal Meksiko menjaga diri mereka sendiri, di Lakeside, masyarakatnya kohesif dan ramah. Didirikan pada tahun 1955, LCS memudahkan transisi untuk tinggal di Meksiko dengan informasi tentang banyak topik. Selain itu, itu adalah fokus untuk kegiatan segala macam. Perpustakaan pinjamannya yang luas dalam bahasa Inggris mencakup Talking Books and movies on DVD. Dan program penjangkauan masyarakatnya, termasuk kelas bahasa Inggris, komputer dan seni untuk anak-anak setempat, mendorong pendatang baru untuk terlibat. Dua American Legion Posts, the Lakeside Little Theatre, kelompok paduan suara dan gereja dengan layanan dalam bahasa Inggris membuat gaya hidup yang kaya raya bahkan jika Anda tidak berbicara bahasa Spanyol. Selain itu, tiga surat kabar dan majalah berbahasa Inggris diterbitkan secara lokal. Bagi mereka yang membutuhkan waktu untuk belajar bahasa Spanyol, kehidupan bisa semakin memperkaya. Golf, tenis, menunggang kuda, belanja, penjelajahan dan relawan. Hari perjalanan ke piramida kuno, desa-desa pegunungan, kota-kota pengrajin dan kota-kota kolonial. Rumah sakit kelas dunia dengan peralatan canggih hanya satu jam perjalanan jauhnya, bersama dengan mal modern, santapan grand cuisine, Sams Club, Costco, Office Max dan Home Depot Kunjungi Galeri Gambar kami Tidak seperti tempat lain di dunia. Tinggal di Danau Chapala tepat untuk Anda Hanya Anda yang bisa menjawab pertanyaan itu. Tapi ribuan Baby Boomer menemukan bahwa, melalui pensiun di Meksiko, uang mereka membeli lebih banyak. Dalam setting musim semi abadi, di tengah budaya yang menghargai akumulasi kebijaksanaan setiap tahun, kehidupan bisa menjadi hal yang baik. Baca lebih banyak. Sewa siap untuk para tamu untuk menyiapkan rumah tangga selama satu bulan atau satu musim. Ada properti jangka pendek dan jangka panjang yang tersedia, mulai dari apartemen studio yang nyaman hingga perkebunan yang anggun. Banyak rumah tidak dilengkapi perabotan, sementara yang lain siap untuk Anda pindah. Servisnya sering dilengkapi dengan koneksi internet kecepatan tinggi, TV kabel, microwave dan mesin cuci pengering untuk masa tinggal yang nyaman. Beberapa bahkan menyediakan dapur lengkap, linen, tukang kebun dan pembantu. Jelajahi semua pilihan Anda secara online, tidak peduli di mana Anda berada. Baca lebih banyak. Hotel yang sempurna untuk tinggal beberapa minggu. Dari hotel layanan penuh, tempat tidur nyaman untuk sarapan pagi sampai hotel butik, Anda akan menemukan sesuatu untuk setiap anggaran. Beberapa akomodasi menawarkan unit rumah tangga pada minggu atau bulan. Ramah penginapan dengan senang hati membantu Anda belajar tentang daerah Chapala Ajijic, layanan dan fasilitasnya. Dan pengalaman bersantap yang luar biasa menanti pengunjung dan warga. Hidup, Pensiun dan Real Estat Tinggal di Meksiko adalah pilihan bagi lebih banyak orang dari Utara Perbatasan. Apakah Anda menghabiskan bulan-bulan musim dingin di bawah sinar matahari Meksiko atau menikmati cuaca yang indah sepanjang tahun, Anda akan menemukan beragam pilihan yang beragam. Ajijic adalah bekas desa nelayan, merupakan rumah bagi banyak penulis dan seniman dan menawarkan kehidupan sosial yang dinamis 12 bulan dalam setahun. Berjarak satu jam dari kota terbesar kedua di Mexicos, kawasan ini merupakan tempat berlindung bagi para pensiunan dengan aktivitas yang berlimpah dalam bahasa Inggris, perawatan kesehatan yang prima, dan semua kenyamanan rumah. Dengan suhu rata-rata sepanjang tahun 68 derajat F (20 derajat C), kehidupan di sini diarahkan ke arah luar rumah, dengan teras utama, teras di pegunungan dan taman yang anggun. Chapala real estat mencerminkan berbagai gaya arsitektur, dari penjajahan yang nyaman sampai desain ultra modern yang terinspirasi oleh arsitek terkenal Luis Barragan, yang membangun mahakarya di daerah tersebut. Dengan cara yang sama, Ajijic menjalankan keseluruhan dari apartemen studio hingga perumahan mewah yang dilengkapi staf penuh waktu untuk memenuhi semua kebutuhan Anda. Sewa termasuk rumah klub raket dan lapangan golf yang mendorong gaya hidup aktif. Baca lebih banyak. Testimoni Klien Kami Situs web mereka membantu saya mendapatkan gagasan tentang area, rumah, lingkungan sekitar dan bahkan tur video. Mereka membantu saya setiap langkah. ETL Menguji Pertanyaan Wawancara 1. Apa yang Anda pahami dengan ETL ETL adalah singkatan dari Extract, Transform, and Load. Ini adalah konsep penting dalam sistem Data Warehousing. Ekstraksi adalah singkatan dari penggalian data dari berbagai sumber data seperti sistem atau aplikasi transaksional. Transformasi berlaku untuk menerapkan aturan konversi pada data sehingga cocok untuk pelaporan analitis. Proses pemuatan melibatkan pemindahan data ke dalam sistem target, biasanya berupa data warehouse. 2. Jelaskan arsitektur lapisan 3 dari siklus ETL. Tiga lapisan yang terlibat dalam siklus ETL dikurangi dengan Staging Layer minus Lapisan pementasan digunakan untuk menyimpan data yang diambil dari berbagai sumber sistem data. Lapisan Integrasi Data dikurangi Lapisan integrasi mengubah data dari lapisan pementasan dan memindahkan data ke database, di mana data disusun ke dalam kelompok hierarkis, yang sering disebut dimensi. Dan menjadi fakta dan fakta agregat. Kombinasi tabel fakta dan dimensi dalam sistem DW disebut skema. Lapisan Akses minus Lapisan akses digunakan oleh pengguna akhir untuk mengambil data untuk pelaporan analitis. 3. Apa perbedaan antara dan ETL dan alat BI Alat ETL digunakan untuk mengekstrak data dari sumber data yang berbeda, mengubah data, dan memasukkannya ke dalam sistem DW. Sebaliknya, alat BI digunakan untuk menghasilkan laporan interaktif dan adhoc untuk pengguna akhir, dasbor untuk manajemen senior, visualisasi data untuk rapat dewan bulanan, kuartalan, dan tahunan. Perangkat ETL yang paling umum termasuk minus SAP BO Data Services (BODS), Informatica, Microsoft SSIS, Oracle Data Integrator ODI, Talend Open Studio, Clover ETL Open source, dll. Alat BI yang paling umum termasuk minus SAP Business Objects, SAP Lumira, IBM Cognos , JasperSoft, Microsoft BI Platform, Tableau, Oracle Business Intelligence Enterprise Edition, dll 4. Apa alat ETL yang populer yang tersedia di pasaran Alat ETL populer yang tersedia di pasar minus Informatica minus Power Center IBM minus DataStart Websphere (Sebelumnya dikenal Sebagai Ascential DataStage) SAP minus Business Objects Data Services BODS IBM minus Cognos Data Manager (sebelumnya dikenal sebagai Cognos Decision Stream) Microsoft minus SQL Server Integration Services SSIS Oracle minus Data Integrator ODI (sebelumnya dikenal sebagai Sunopsis Data Conductor) SAS minus Integrasi Data Studio Oracle Minus Warehouse Builder ABInitio Open source Clover ETL 5. Mengapa kita memerlukan area pementasan dalam proses ETL Area stage adalah area perantara Yang berada di antara sumber data dan data warehousedata mart sistem. Area pementasan dapat dirancang untuk memberikan banyak manfaat, namun motivasi utama untuk penggunaannya adalah untuk meningkatkan efisiensi proses ETL, memastikan integritas data, dan mendukung operasi kualitas data. 6. Apa perbedaan antara data pergudangan dan data mining Pergudangan data adalah konsep yang lebih luas dibandingkan dengan data mining. Data mining melibatkan penggalian informasi tersembunyi dari data dan menafsirkannya untuk prediksi masa depan. Sebaliknya pergudangan data mencakup operasi seperti pelaporan analitis untuk menghasilkan laporan terperinci dan laporan ad-hoc, pemrosesan informasi untuk menghasilkan dasbor dan grafik interaktif. 7. Apa perbedaan struktural antara OLTP dan OLAP sistem OLTP singkatan dari Online Transactional Processing system yang biasanya merupakan database relasional dan digunakan untuk mengatur transaksi sehari-hari. OLAP singkatan dari Online Analytical Processing system yang umumnya merupakan sistem multidimensi dan juga disebut data warehouse. 8. Apa itu tabel Dimensi dan bagaimana perbedaannya dengan tabel Fakta Misalkan sebuah perusahaan menjual produknya kepada pelanggan. Setiap penjualan adalah fakta yang terjadi di dalam perusahaan dan tabel fakta digunakan untuk mencatat fakta-fakta ini. Setiap tabel fakta menyimpan kunci utama untuk bergabung dengan tabel fakta ke tabel dimensi dan ukuranfakta. Contoh minus FactUnits 16. Apa yang anda pahami dengan ETL Testing ETL Testing ini dilakukan sebelum data dipindahkan ke sistem produksi Data Warehouse. Kadang-kadang juga disebut sebagai Tabel Balancing atau rekonsiliasi produksi. Tujuan utama pengujian ETL adalah untuk mengidentifikasi dan mengurangi cacat data dan kesalahan umum yang terjadi sebelum pengolahan data untuk pelaporan analitis. 17. Bagaimana Pengujian ETL berbeda dengan pengujian basis data Tabel berikut menangkap fitur utama pengujian Database dan ETL dan perbandingannya dikurangi Validasi data dan Ekstraksi Data Integrasi, Transformasi dan Pemuatan untuk BI Pelaporan Sistem transaksional dimana arus bisnis terjadi Sistem yang berisi data historis dan Tidak dalam lingkungan arus bisnis Common Tools di pasar QTP, Selenium, dll QuerySurge, Informatica, dll. Ini digunakan untuk mengintegrasikan data dari beberapa aplikasi, impact parah. Ini digunakan untuk Analytical Reporting, information and forecasting. Data yang dinormalisasi dengan kurang bergabung, lebih banyak indeks dan agregasi. 18. Apa saja kategori Pengujian ETL yang berbeda sesuai fungsinya Pengujian ETL dapat dibagi ke dalam kategori berikut berdasarkan fungsinya dikurangi Sumber untuk Uji Coba Sasaran dikurangi Ini melibatkan pencocokan hitungan rekam dalam sistem sumber dan target. Sumber untuk Mempasaran Pengujian Data dikurangi Ini melibatkan validasi data antara sumber dan sistem target. Ini juga melibatkan integrasi data dan nilai ambang cek dan pengecekan data duplikat di sistem target. Pemetaan Data atau Pengujian Transformasi minus Ini mengkonfirmasikan pemetaan objek di sistem sumber dan target. Ini juga melibatkan pengecekan fungsi data dalam sistem target. Pengujian Pengguna Akhir dikurangi Ini melibatkan pembuatan laporan bagi pengguna akhir untuk memverifikasi apakah data dalam laporan sesuai harapan. Ini melibatkan menemukan penyimpangan dalam laporan dan memeriksa silang data di sistem target untuk validasi laporan. Retestasi minus Ini melibatkan perbaikan bug dan cacat pada data di sistem target dan menjalankan laporan lagi untuk validasi data. Pengujian Integrasi Sistem dikurangi Ini melibatkan pengujian semua sistem individual, dan kemudian menggabungkan hasilnya untuk menemukan apakah ada penyimpangan. 19. Jelaskan tantangan utama yang Anda hadapi saat melakukan Pengujian ETL. Kehilangan data selama proses ETL. Data salah, tidak lengkap atau duplikat. Sistem DW berisi data historis sehingga volume data terlalu besar dan sangat kompleks untuk melakukan pengujian ETL di sistem target. Penguji ETL biasanya tidak diberi akses untuk melihat jadwal pekerjaan di ETL tool. Mereka hampir tidak memiliki akses pada perangkat Pelaporan BI untuk melihat tata letak akhir laporan dan data di dalam laporan. Sulit untuk menghasilkan dan membangun kasus uji karena volume data terlalu tinggi dan kompleks. Penguji ETL biasanya tidak memiliki gagasan tentang persyaratan laporan pengguna akhir dan arus informasi bisnis. Pengujian ETL melibatkan berbagai konsep SQL yang kompleks untuk validasi data dalam sistem target. Terkadang penguji tidak diberi sumber untuk menargetkan informasi pemetaan. Lingkungan pengujian yang tidak stabil mengakibatkan keterlambatan dalam pengembangan dan pengujian proses. 20. Apa tanggung jawab Anda sebagai ETL Tester Tanggung jawab utama tester ETL termasuk minus Memeriksa tabel dalam sistem sumber minus Count check, Cek jenis data, kunci tidak hilang, duplikat data. Menerapkan logika transformasi sebelum memuat data: validasi ambang data, cek ky pengganti, dll. Pemuatan data dari area Staging ke sistem target: Nilai gabungan dan ukuran yang dihitung, bidang kunci tidak hilang, tabel cek Count di tabel target, laporan BI Validasi, dll. Pengujian alat ETL dan komponennya, Uji kasus minus Buat, desain dan eksekusi rencana uji, uji kasus, uji alat ETL dan fungsinya, sistem uji DW, dll. 21. Apa yang anda pahami dengan istilah transformasi A Transformasi adalah seperangkat aturan yang menghasilkan, memodifikasi, atau meneruskan data. Transformasi bisa menjadi dua jenis minus Aktif dan Pasif. 22. Apa yang Anda pahami dengan Transformasi Aktif dan Pasif Dalam sebuah transformasi aktif, jumlah baris yang dibuat sebagai output dapat diubah begitu sebuah transformasi terjadi. Ini tidak terjadi selama transformasi pasif. Informasi melewati nomor yang sama yang diberikan kepadanya sebagai masukan. 23. Apa itu Partitioning Jelaskan berbagai jenis partisi. Partisi adalah ketika Anda membagi area penyimpanan data di beberapa bagian. Hal ini biasanya dilakukan untuk meningkatkan kinerja transaksi. Jika sistem DW Anda berukuran besar, dibutuhkan waktu untuk mencari data. Partisi ruang penyimpanan memungkinkan Anda untuk menemukan dan menganalisis data lebih mudah dan cepat. Perpisahan bisa berupa dua jenis partisi round-robin minus dan partisi Hash. 24. Apa perbedaan antara partisi round-robin dan partisi Hash Pada partisi round-robin, data didistribusikan secara merata di antara semua partisi sehingga jumlah baris pada setiap partisi relatif sama. Partisi hash adalah ketika server menggunakan fungsi hash untuk membuat kunci partisi untuk mengelompokkan data. 25. Jelaskan syarat minus mapplet, sesi, pemetaan, alur kerja dikurangi dalam proses ETL Mapplet mendefinisikan aturan Transformasi. Sesi didefinisikan untuk menginstruksikan data saat dipindahkan dari sumber ke sistem target. Workflow adalah seperangkat instruksi yang menginstruksikan server pada eksekusi tugas. Pemetaan adalah perpindahan data dari sumber ke tujuan. 26. Apa itu transformasi pencarian dan kapan itu digunakan Reverse Lookup memungkinkan Anda mengakses data dari tabel relasional yang tidak didefinisikan dalam dokumen pemetaan. Ini memungkinkan Anda memperbarui tabel dimensi yang berubah perlahan untuk menentukan apakah catatan sudah ada pada target atau tidak. 27. Apa kunci pengganti dalam database Kunci Pengganti adalah sesuatu yang memiliki bilangan urut yang dihasilkan tanpa makna, dan hanya untuk mengidentifikasi baris secara unik. Hal ini tidak terlihat oleh pengguna atau aplikasi. Hal ini juga disebut sebagai kunci kandidat. 28. Apa perbedaan antara kunci pengganti dan kunci primer Kunci Pengganti memiliki bilangan urut yang dihasilkan tanpa makna. Hal ini dimaksudkan untuk mengidentifikasi baris secara unik. Kunci Primer digunakan untuk mengidentifikasi baris secara unik. Hal ini terlihat oleh pengguna dan dapat diubah sesuai kebutuhan. 29. Jika ada ribuan catatan dalam sistem sumber, bagaimana Anda memastikan bahwa semua catatan dimuat ke target pada waktu yang tepat Dalam kasus tersebut, Anda dapat menerapkan metode checksum. Anda dapat memulai dengan memeriksa jumlah catatan di sumber dan sistem target. Pilih jumlah dan bandingkan informasinya. 30. Apa yang Anda pahami dengan validasi nilai Threshold Testing Jelaskan dengan sebuah contoh. Dalam pengujian ini, penguji memvalidasi rentang data. Semua nilai ambang batas pada sistem target harus diperiksa untuk memastikan hasilnya sesuai dengan hasil yang diharapkan. Contoh minus Atribut umur seharusnya tidak memiliki nilai lebih besar dari 100. Pada kolom Date DDMMYY, field bulan seharusnya tidak memiliki nilai lebih besar dari 12. 31. Tuliskan statement SQL untuk melakukan Duplicate Data check Testing. 32. Bagaimana data duplikat muncul dalam sistem target Bila tidak ada kunci utama yang ditetapkan, maka duplikat nilai mungkin muncul. Duplikasi data mungkin juga timbul karena pemetaan yang salah, dan kesalahan manual saat mentransfer data dari sumber ke sistem target. 33. Apa itu Regression testing Regression testing adalah ketika kita membuat perubahan pada transformasi data dan aturan agregasi untuk menambahkan fungsi baru dan membantu penguji untuk menemukan kesalahan baru. Bug yang muncul dalam data yang datang dalam pengujian Regresi disebut Regresi. 34. Sebutkan tiga pendekatan yang bisa diikuti untuk integrasi sistem. Ketiga pendekatan tersebut adalah minus top-down, bottom-up, dan hybrid. 34. Apa skenario pengujian ETL yang umum Skenario pengujian ETL yang paling umum adalah minus Validasi struktur Memvalidasi dokumen Pemetaan Memvalidasi Kendala Data Konsistensi memeriksa Kelengkapan Data Validasi Data Kebenaran validasi Data Transformasi validasi Validasi Data Validasi Null Duplikat Validasi Tanggal Pemeriksaan Validasi Validasi Data Lengkap menggunakan Minus query Skenario Uji Lain Pembersihan Data 35. Apa data pembersihan Pembersihan data adalah proses menghapus data dari data warehouse. Ini menghapus data sampah seperti baris dengan nilai null atau spasi ekstra. 36. Apa yang Anda pahami dengan bug kosmetik dalam pengujian ETL Bug kosmetik terkait dengan GUI aplikasi. Hal ini dapat dikaitkan dengan gaya font, ukuran font, warna, keselarasan, kesalahan ejaan, navigasi, dll. 37. Apa yang Anda sebut bug pengujian yang muncul saat melakukan pengujian validasi ambang batas Ini disebut Analisis Boundary Value Analysis terkait. 38. Saya memiliki 50 catatan dalam sistem sumber saya tapi saya hanya ingin memuatkan 5 catatan ke target untuk setiap langkahnya. Bagaimana saya bisa mencapainya? Anda bisa melakukannya dengan membuat variabel pemetaan dan transformasi yang disaring. Anda mungkin perlu membuat urutan agar memiliki rekaman khusus yang Anda butuhkan. 39. Sebutkan beberapa cek yang bisa dilakukan untuk mencapai akurasi Uji Data ETL. Perbandingan nilai minus Ini melibatkan perbandingan data dalam sumber dan sistem target dengan transformasi minimum atau tidak. Hal itu bisa dilakukan dengan menggunakan berbagai alat Pengujian ETL seperti Source Qualifier Transformation in Informatica. Kolom data kritis dapat diperiksa dengan membandingkan nilai yang berbeda dalam sistem sumber dan target. 40. Pernyataan SQL mana yang dapat digunakan untuk melakukan validasi kelengkapan Data Anda dapat menggunakan pernyataan Minus dan Persatuan untuk melakukan validasi kelengkapan data. Bila Anda melakukan sumber minus target dan target minus sumber dan query minus mengembalikan nilai, maka itu adalah tanda ketidakcocokan baris. Jika kueri minus mengembalikan nilai dan jumlah yang terpotongan kurang dari jumlah sumber atau tabel target, maka duplikat baris ada. 41. Apa perbedaan antara shortcut dan reusable transformation Shortcut Transformation adalah referensi ke objek yang tersedia dalam folder bersama. Referensi ini biasanya digunakan untuk berbagai sumber dan target yang harus dibagi antara proyek atau lingkungan yang berbeda. Di Repository Manager, shortcut dibuat dengan menugaskan Shared status. Nantinya, objek bisa diseret dari folder ini ke folder lain. Proses ini memungkinkan satu titik kontrol untuk objek dan beberapa proyek tidak memiliki semua sumber dan target impor ke dalam folder lokal mereka. Transformasi yang dapat digunakan ulang adalah lokal ke folder. Contoh minus Reusable sequence generator untuk mengalokasikan gudang Customer id. Hal ini berguna untuk memuat rincian pelanggan dari berbagai sistem sumber dan mengalokasikan id unik ke setiap kunci sumber baru. 42. Apa itu Self-Join Saat Anda bergabung dengan satu meja dengan dirinya sendiri, itu disebut Self-Join. 43. Apa yang Anda pahami dengan Normalisasi Database normalisasi adalah proses pengorganisasian atribut dan tabel dari database relasional untuk meminimalkan redundansi data. Normalisasi melibatkan penguraian tabel menjadi tabel yang kurang berlebihan (dan lebih kecil) namun tanpa kehilangan informasi. 44. Apa yang Anda pahami secara fakta-kurang dari tabel fakta Fakta fakta adalah tabel fakta yang tidak memiliki ukuran apapun. Ini pada dasarnya adalah persimpangan dimensi. Ada dua jenis tabel fakta-kurang: Salah satunya adalah untuk menangkap sebuah acara, dan yang lainnya adalah untuk menggambarkan kondisi. 45. Apa itu dimensi yang perlahan berubah dan jenisnya Perlahan Mengubah Dimensi mengacu pada perubahan nilai atribut dari waktu ke waktu. SCD terdiri dari tiga jenis minus Tipe 1, Tipe 2, dan Tipe 3. 46. Pengguna A sudah masuk ke aplikasi dan User B sedang mencoba masuk, namun sistem tidak mengizinkannya. Jenis bug apa itu minus Race Condition bug b minus Perhitungan bug c minus Hardware bug d minus Load Condition bug 47. Jenis pengujian mana yang digunakan untuk mengecek tipe data dan panjang atribut dalam transformasi ETL minus Validation Testing Pengujian b minus Uji Akurasi Data c minus Pengujian Metadata d minus Uji Transformasi Data 48. Manakah dari pernyataan berikut yang tidak benar pada Referential join a minus Hanya digunakan bila integritas referensial antara kedua tabel dijamin. B minus Ini hanya digunakan jika filter disetel pada tabel sisi kanan c minus Hal ini dianggap sebagai inner inner yang dioptimalkan. D minus Hanya dijalankan bila field dari kedua tabel diminta 49. File mana yang berisi informasi tentang konfigurasi dataset di sistem ETL yang minus File Data b minus File Konfigurasi c minus Descriptor File d minus File Kontrol 50. Jenis bug apa di ETL Pengujian tidak memungkinkan Anda untuk memasukkan nilai yang valid a minus Load Condition bug b minus Perhitungan bug c minus Kondisi lomba bug d minus Input Output bug Ini adalah halaman web pertama yang saya tulis di Wavelets. Dari benih ini tumbuh halaman web lain yang membahas berbagai topik terkait wavelet. Untuk daftar isi lihat Wavelets and Signal Processing. Halaman web ini menerapkan transformasi wavelet ke deret waktu yang terdiri dari harga pasar saham yang dekat. Kemudian halaman web memperluas pekerjaan ini di berbagai area (misalnya kompresi, analisis spektral dan peramalan). Ketika saya memulai, saya berpikir bahwa saya akan menerapkan wavelet Haar dan beberapa rekan saya mungkin merasa berguna. Saya tidak mengharapkan pemrosesan sinyal menjadi topik yang menarik. Saya juga tidak mengerti siapa banyak bidang ilmu komputer, matematika, dan keuangan kuantitatif yang berbeda yang akan disentuh oleh wavelet. Saya terus menemukan satu hal yang mengarah ke yang lain, sehingga sulit menemukan tempat berhenti yang logis. Jalur penemuan yang mengembara di bagian ini juga menyumbang pertumbuhan organik dari halaman-halaman web ini. Saya telah mencoba menjinakkan pertumbuhan ini dan mengaturnya, tapi saya khawatir hal itu masih mencerminkan kenyataan bahwa saya tidak tahu ke mana saya akan pergi saat memulai. Kode Java yang diterbitkan bersama dengan halaman web ini mencerminkan karya pertama yang saya lakukan pada wavelet. Algoritma pengangkatan yang lebih canggih, berbasis algoritma yang diimplementasikan di Jawa dapat ditemukan di halaman web lainnya. Kode skema pengangkatan wavelet, yang dipublikasikan di halaman web lain, lebih sederhana dan mudah dimengerti. Skema pengangkatan wavelet juga menyediakan kerangka kerja yang elegan dan kuat untuk menerapkan berbagai algoritma wavelet. Dalam mengimplementasikan algoritma packet wavelet, saya beralih dari Java ke C. Algoritma packet wavelet yang saya gunakan lebih sederhana dan lebih elegan dengan menggunakan fitur overloading operator Cs. C juga mendukung struktur data generik (template), yang memungkinkan saya menerapkan hierarki kelas generik untuk wavelet. Kode ini mencakup beberapa algoritma wavelet yang berbeda, termasuk Haar, interpolasi linier dan Daubechies D4. Seperti algoritma wavelet, pemodelan keuangan yang dilakukan di sini merupakan karya yang sangat awal. Ketika saya mulai mengerjakan halaman web ini, saya tidak memiliki pengalaman dengan pemodelan waktu keuangan. Pekerjaan yang dijelaskan di halaman web ini menghasilkan eksperimen yang lebih intensif dengan filter wavelet dalam model keuangan, yang terus saya kerjakan. Di halaman web ini saya menggunakan harga pasar saham yang dekat. Dalam pemodelan keuangan seseorang biasanya menggunakan pengembalian, karena apa yang ingin Anda prediksi adalah masa depan. Saya menjadi tertarik pada wavelet secara tidak sengaja. Saya sedang mengerjakan perangkat lunak yang terkait dengan deret waktu keuangan (mis., Ekuitas terbuka dan harga penutupan), jadi saya kira itu adalah kecelakaan yang menunggu untuk terjadi. Saya membaca majalah WIRED edisi Februari 2001 saat melihat grafik di bawah ini. Setiap bulan WIRED menjalankan berbagai visualisasi grafis dari data keuangan dan ini adalah salah satunya. Jika harga saham benar-benar memperhitungkan semua informasi yang dapat diketahui, grafik harga gabungan harus dilanjutkan dalam fashon tertib, karena informasi baru menyentuh nilai yang dirasakan melawan tarikan kecenderungan mapan. Analisis wavelet, banyak digunakan dalam komunikasi untuk memisahkan sinyal (patterned motion) dari noise (aktivitas acak), mengemukakan sebaliknya. Gambar ini menunjukkan hasil menjalankan transformasi Haar - formula wavelet fundamental - pada penutupan harian Dow dan NASDQ sejak tahun 1993. Pegunungan biru merupakan sinyal. Lonjakan merah tertanam mewakili kebisingan, yang garis kuningnya mengikuti rata-rata pergerakan 50 hari. Kebisingan, yang bisa dianggap sebagai ketidaktahuan investor, telah meningkat seiring dengan nilai kedua indeks. Tapi sementara kebisingan di Dow telah tumbuh rata-rata 500 persen, kebisingan NASDAQ telah menggelembung 3.000 persen, jauh melampaui pertumbuhan 500 persen yang luar biasa NASDAQ selama periode yang sama. Sebagian besar kenaikan ini telah terjadi sejak 1997, dengan lonjakan yang luar biasa sejak Januari 2000. Mungkin hanya ada satu lampu Y2K - yang tidak menggunakan sistem operasi dan CPU, tapi - - psikologi investor. - Clem Chambers (clemcadvfn). Grafik dan kutipan dari Majalah WIRED, Februari 2001, halaman 176 Saya seorang Platonis. Saya percaya bahwa, secara abstrak, ada kebenaran, tapi kita tidak pernah bisa mencapainya. Kita hanya bisa mencapai perkiraan, atau bayangan kebenaran. Ilmu pengetahuan modern mengungkapkan hal ini sebagai ketidakpastian Heisenberg. Pandangan Platonis tentang deret waktu keuangan adalah bahwa ada rangkaian waktu yang sebenarnya yang dikaburkan sampai batas tertentu oleh kebisingan. Misalnya, harga penutupan atau rangkaian waktu bidask untuk pergerakan saham berdasarkan penawaran dan permintaan saham. Dalam kasus time series bidask, kurva supplydemand akan dikelilingi oleh kebisingan yang dihasilkan oleh kedatangan pesanan secara acak. Jika, entah bagaimana, suara itu bisa disaring, kita akan melihat kurva penawaran yang sebenarnya. Perangkat lunak yang menggunakan informasi ini mungkin bisa melakukan pekerjaan yang lebih baik karena tidak akan bingung dengan gerakan palsu yang diciptakan oleh kebisingan. Grafik WIRED di atas menunjukkan bahwa analisis wavelet dapat digunakan untuk menyaring deret waktu keuangan untuk menghilangkan noise yang terkait. Tentu ada area luas yang tidak diperhatikan oleh WIRED quote. Apa, misalnya, merupakan kebisingan Apa itu wavelet dan wavelet Haar Mengapa wavelet berguna dalam menganalisis deret waktu keuangan Ketika saya melihat grafik ini saya tidak tahu jawaban atas semua pertanyaan ini. Analisis yang diberikan dalam paragraf WIRED singkat juga dangkal. Kebisingan dalam deret waktu meningkat dengan volume perdagangan. Untuk mengklaim bahwa kebisingan telah meningkat, kebisingan harus dinormalisasi untuk volume perdagangan. Membaca adalah hal yang berbahaya. Ini bisa membuat Anda pergi ke arah yang aneh. Saya pindah dari California ke Santa Fe, New Mexico karena saya membaca sebuah buku. Grafik satu di majalah WIRED itu meluncurkan saya di jalan yang saya habiskan beberapa bulan setelahnya. Seperti petualangan lainnya, saya tidak yakin apakah saya akan memulai yang satu ini jika saya tahu berapa lama dan, terkadang, sulit, perjalanannya akan seperti itu. Bertahun-tahun yang lalu, ketika pertama kali keluar, saya membeli sebuah buku dari buku The World Menurut Wavelets oleh Barbara Hubbard, berdasarkan tinjauan yang saya baca di majalah Science. Buku itu duduk di rak saya sampai terbaca sampai saya melihat grafik WIRED. Wavelets agak aneh, sebuah kata kunci yang dilemparkan orang. Barbara Hubbard mulai menulis The World Menurut Wavelet ketika wavelet iseng mulai terbakar. Dia memberikan sejarah yang menarik tentang bagaimana wavelet dikembangkan di dunia matematika dan teknik. Dia juga berusaha keras untuk memberikan penjelasan tentang teknik wavelet apa. Ms. Hubbard adalah seorang penulis sains, bukan matematikawan, tapi dia menguasai cukup banyak kalkulus dasar dan teori pemrosesan sinyal (yang saya kagumi). Saat dia menulis The World Menurut Wavelet ada beberapa buku tentang wavelet dan tidak ada bahan pengantar. Meskipun saya mengagumi usaha heroik Barbara Hubbards, saya hanya memiliki pemahaman permukaan wavelet setelah membaca Dunia Menurut Wavelet. Ada banyak literatur tentang wavelet dan aplikasinya. Dari sudut pandang seorang insinyur perangkat lunak (dengan hanya satu tahun kalkulus perguruan tinggi), masalah dengan literatur wavelet adalah bahwa sebagian besar telah ditulis oleh ahli matematika, baik untuk matematikawan lain atau untuk siswa dalam matematika. Im bukan anggota kelompok baik, jadi mungkin masalah saya adalah bahwa saya tidak memiliki pemahaman yang fasih bahasa matematika. Saya merasa yakin ini ketika saya membaca artikel jurnal tentang wavelet. Namun, saya telah mencoba berkonsentrasi pada buku dan artikel yang secara eksplisit mengantar dan tutorial. Bahkan ini sudah terbukti sulit. Bab pertama buku Wavelets Made Easy oleh Yves Nievergelt dimulai dengan penjelasan wavelets Haar (ini adalah wavelet yang digunakan untuk menghasilkan grafik yang diterbitkan di WIRED). Bab ini memiliki banyak contoh dan saya dapat memahami dan menerapkan wavelet Haar dari materi ini (tautan ke kode Java saya untuk wavelet Haar dapat ditemukan di bawah). Bab selanjutnya membahas transformasi wavelet Daubechies. Sayangnya, bab ini dari Wavelets Made Easy sepertinya tidak sebagus bahan pada wavelet Haar. Tampaknya ada sejumlah kesalahan dalam bab ini dan menerapkan algoritma yang dijelaskan oleh Nievergelt tidak menghasilkan transformasi wavelet yang benar. Antara lain, koefisien wavelet untuk wavelet Daubechies nampaknya salah. Halaman web saya pada transformasi wavelet Daubechies dapat ditemukan di sini. Buku Ripples in Mathematics (lihat referensi di akhir halaman web) adalah referensi yang lebih baik. Ada banyak literatur tentang wavelet. Ini termasuk ribuan artikel jurnal dan banyak buku. Buku-buku tentang wavelet berkisar dari karya pengantar yang relatif seperti Nievergelts Wavelets Made Easy (yang masih belum membaca dengan ringan) ke buku-buku yang hanya dapat diakses oleh mahasiswa pascasarjana dalam matematika. Ada juga banyak materi wavelet di Web. Ini termasuk sejumlah tutorial (lihat referensi berbasis Web di bawah ini). Mengingat literatur yang luas tentang wavelet, tidak perlu tutorial lagi. Tapi mungkin ada gunanya meringkas pandangan saya tentang wavelet karena diaplikasikan pada sinyal 1-D atau deret waktu (gambar adalah data 2-D). Seri waktu hanyalah contoh sinyal atau catatan tentang sesuatu, seperti suhu, tingkat air atau data pasar (seperti harga penutupan ekuitas). Wavelets memungkinkan rangkaian waktu untuk dilihat dalam beberapa resolusi. Setiap resolusi mencerminkan frekuensi yang berbeda. Teknik wavelet mengambil rata-rata dan perbedaan sinyal, memecah sinyal menjadi spektrum. Semua algoritma wavelet yang saya kenal dengan work on time series memiliki kekuatan dua nilai (misalnya 64, 128, 256.). Each step of the wavelet transform produces two sets of values: a set of averages and a set of differences (the differences are referred to as wavelet coefficients). Each step produces a set of averages and coefficients that is half the size of the input data. For example, if the time series contains 256 elements, the first step will produce 128 averages and 128 coefficients. The averages then become the input for the next step (e. g. 128 averages resulting in a new set of 64 averages and 64 coefficients). This continues until one average and one coefficient (e. g. 2 0 ) is calculated. The average and difference of the time series is made across a window of values. Most wavelet algorithms calculate each new average and difference by shifting this window over the input data. For example, if the input time series contains 256 values, the window will be shifted by two elements, 128 times, in calculating the averages and differences. The next step of the calculation uses the previous set of averages, also shifting the window by two elements. This has the effect of averaging across a four element window. Logically, the window increases by a factor of two each time. In the wavelet literature this tree structured recursive algorithm is referred to as a pyramidal algorithm. The power of two coefficient (difference) spectrum generated by a wavelet calculation reflect change in the time series at various resolutions. The first coefficient band generated reflects the highest frequency changes. Each later band reflects changes at lower and lower frequencies. There are an infinite number of wavelet basis functions. The more complex functions (like the Daubechies wavelets) produce overlapping averages and differences that provide a better average than the Haar wavelet at lower resolutions. However, these algorithms are more complicated. Every field of specialty develops its own sub-language. This is certainly true of wavelets. Ive listed a few definitions here which, if I had understood their meaning would have helped me in my wanderings through the wavelet literature. A function that results in a set of high frequency differences, or wavelet coefficients. In lifting scheme terms the wavelet calculates the difference between a prediction and an actual value. If we have a data sample s i . s i1 . s i2 . the Haar wavelet equations is Where c i is the wavelet coefficient. The wavelet Lifting Scheme uses a slightly different expression for the Haar wavelet: The scaling function produces a smoother version of the data set, which is half the size of the input data set. Wavelet algorithms are recursive and the smoothed data becomes the input for the next step of the wavelet transform. The Haar wavelet scaling function is where a i is a smoothed value. The Haar transform preserves the average in the smoothed values. This is not true of all wavelet transforms. High pass filter In digital signal processing (DSP) terms, the wavelet function is a high pass filter. A high pass filter allows the high frequency components of a signal through while suppressing the low frequency components. For example, the differences that are captured by the Haar wavelet function represent high frequency change between an odd and an even value. Low pass filter In digital signal processing (DSP) terms, the scaling function is a low pass filter. A low pass filter suppresses the high frequency components of a signal and allows the low frequency components through. The Haar scaling function calculates the average of an even and an odd element, which results in a smoother, low pass signal. Orthogonal (or Orthonormal) Transform The definition of orthonormal (a. k.a. orthogonal) tranforms in Wavelet Methods for Time Series Analysis by Percival and Walden, Cambridge University Press, 2000, Chaper 3, section 3.1, is one of the best Ive seen. Ive quoted this below: Orthonormal transforms are of interst because they can be used to re-express a time series in such a way that we can easily reconstruct the series from its transform. In a loose sense, the information in the transform is thus equivalent to the information is the original series to put it another way, the series and its transform can be considered to be two representations of the same mathematical entity. In terms of wavelet transforms this means that the original time series can be exactly reconstructed from the time series average and coefficients generated by an orthogonal (orthonormal) wavelet transform. This is also referred to as de-noising. Signal estimation algorithms attempt to characterize portions of the time series and remove those that fall into a particular model of noise. These Web pages publish some heavily documented Java source code for the Haar wavelet transform. Books like Wavelets Made Easy explain some of the mathematics behind the wavelet transform. I have found, however, that the implemation of this code can be at least as difficult as understanding the wavelet equations. For example, the in-place Haar wavelet transform produces wavelet coefficients in a butterfly pattern in the original data array. The Java source published here includes code to reorder the butterfly into coefficient spectrums which are more useful when it comes to analyzing the data. Although this code is not large, it took me most of a Saturday to implement the code to reorder the butterfly data pattern. The wavelet Lifting Scheme, developed by Wim Sweldens and others provides a simpler way to look as many wavelet algorithms. I started to work on Lifting Scheme wavelet implementations after I had written this web page and developed the software. The Haar wavelet code is much simpler when expressed in the lifting scheme. See my web page The Wavelet Lifting Scheme. The link to the Java source download Web page is below. There are a variety of wavelet analysis algorithms. Different wavelet algorithms are appplied depending on the nature of the data analyzed. The Haar wavelet, which is used here is very fast and works well for the financial time series (e. g. the close price for a stock). Financial time series are non-stationary (to use a signal processing term). This means that even within a window, financial time series cannot be described well by a combination of sin and cos terms. Nor are financial time series cyclical in a predictable fashion (unless you believe in Elliot waves ). Financial time series lend themselves to Haar wavelet analysis since graphs of financial time series tend to jagged, without a lot of smooth detail. For example, the graph below shows the daily close price for Applied Materials over a period of about two years. Daily close price for Applied Materials (symbol: AMAT), 121897 to 123099. The Haar wavelet algorithms I have implemented work on data that consists of samples that are a power of two. In this case there are 512 samples. There are a wide variety of popular wavelet algorithms, including Daubechies wavelets, Mexican Hat wavelets and Morlet wavelets. These wavelet algorithms have the advantage of better resolution for smoothly changing time series. But they have the disadvantage of being more expensive to calculate than the Haar wavelets. The higer resolution provided by these wavlets is not worth the cost for financial time series, which are characterized by jagged transitions. The Haar wavelet algorithms published here are applied to time series where the number of samples is a power of two (e. g. 2, 4, 8, 16, 32, 64. ) The Haar wavelet uses a rectangular window to sample the time series. The first pass over the time series uses a window width of two. The window width is doubled at each step until the window encompasses the entire time series. Each pass over the time series generates a new time series and a set of coefficients. The new time series is the average of the previous time series over the sampling window. The coefficients represent the average change in the sample window. For example, if we have a time series consisting of the values v 0 . v 1 . v n . a new time series, with half as many points is calculated by averaging the points in the window. If it is the first pass over the time series, the window width will be two, so two points will be averaged: The 3-D surface below graphs nine wavelet spectrums generated from the 512 point AMAT close price time series. The x-axis shows the sample number, the y-axis shows the average value at that point and the z-axis shows log 2 of the window width. The wavelet coefficients are calcalculated along with the new average time series values. The coefficients represent the average change over the window. If the windows width is two this would be: The graph below shows the coefficient spectrums. As before the z-axis represents the log 2 of the window width. The y-axis represents the time series change over the window width. Somewhat counter intutitively, the negative values mean that the time series is moving upward Positive values mean the the time series is going down, since v i is greater than v i1 . Note that the high frequency coefficient spectrum (log 2 (windowWidth) 1) reflects the noisiest part of the time series. Here the change between values fluctuates around zero. Plot of the Haar coefficient spectrum. The surface plots the highest frequency spectrum in the front and the lowest frequency spectrum in the back. Note that the highest frequency spectrum contains most of the noise. The wavelet transform allows some or all of a given spectrum to be removed by setting the coefficients to zero. The signal can then be rebuilt using the inverse wavelet transform. Plots of the AMAT close price time series with various spectrum filtered out are shown here. Each spectrum that makes up a time series can be examined independently. A noise filter can be applied to each spectrum removing the coefficients that are classified as noise by setting the coefficients to zero. This web page shows a histogram analysis of the three highest frequency spectrum of the AMAT close price. The result of a filter that removes the points that fall within a gaussian curve in each spectrum is also shown. The gaussian curve has a mean and standard deviation of the coefficients in that spectrum. Another way to remove noise is to use thresholding. My web page outlining one thresholding algorithm can be found here. How do Haar wavelet filters compare to simple filters, like windowed mean and median filters A plot of the AMAT time series, filtered with a median filter (which in this case is virtually identical to a mean filter) is shown here here. These filters can be compared to the spectrum filters (where a given wavelet coefficient spectrum is filered out) here.. Whether a wavelet filter is better than a windowed mean filter depends on the application. The wavelet filter allows specific parts of the spectrum to be filtered. For example, the entire high frequency spectrum can be removed. Or selected parts of the spectrum can be removed, as is done with the gaussian noise filter. The power of Haar wavelet filters is that they can be efficiently calculated and they provide a lot of flexibility. They can potentially leave more detail in the time series, compared to the mean or median filter. To the extent that this detail is useful for an application, the wavelet filter is a better choice. The Haar wavelet transform has a number of advantages: It is conceptually simple. It is fast. It is memory efficient, since it can be calculated in place without a temporary array. It is exactly reversible without the edge effects that are a problem with other wavelet trasforms. The Haar transform also has limitations, which can be a problem for some applications. In generating each set of averages for the next level and each set of coefficients, the Haar transform performs an average and difference on a pair of values. Then the algorithm shifts over by two values and calculates another average and difference on the next pair. The high frequency coefficient spectrum should reflect all high frequency changes. The Haar window is only two elements wide. If a big change takes place from an even value to an odd value, the change will not be reflected in the high frequency coefficients. For example, in the 64 element time series graphed below, there is a large drop between elements 16 and 17, and elements 44 and 45. Since these are high frequency changes, we might expect to see them reflected in the high frequency coefficients. However, in the case of the Haar wavelet transform the high frequency coefficients miss these changes, since they are on even to odd elements. The surface below shows three coefficient spectrum: 32, 16 and 8 (where the 32 element coefficient spectrum is the highest frequency). The high frequency spectrum is plotted on the leading edge of the surface. the lowest frequency spectrum (8) is the far edge of the surface. Note that both large magnitude changes are missing from the high frequency spectrum (32). The first change is picked up in the next spectrum (16) and the second change is picked up in the last spectrum in the graph (8). Many other wavelet algorithms, like the Daubechies wavelet algorithm, use overlapping windows, so the high frequency spectrum reflects all changes in the time series. Like the Haar algorithm, Daubechies shifts by two elements at each step. However, the average and difference are calculated over four elements, so there are no holes. The graph below shows the high frequency coefficient spectrum calculated from the same 64 element time series, but with the Daubechies D4 wavelet algorithm. Because of the overlapping averages and differences the change is reflected in this spectrum. The 32, 16 and 8 coefficient spectrums, calculated with the Daubechies D4 wavelet algorithm, are shown below as a surface. Note that the change in the time series is reflected in all three coefficient spectrum. Wavelet algorithms are naturally parallel. For example, if enough processing elements exist, the wavelet transform for a particular spectrum can be calculated in one step by assigning a processor for every two points. The parallelism in the wavelet algorithm makes it attractive for hardware implementation. The Web page for downloading the Haar wavelet source code can be found here. This Java code is extensively documented and this web page includes a link to the Javadoc generated documentation. A simpler version of the Haar wavelet algorithm can be found via my web page The Wavelet Lifting Scheme. The plots above are generated with gnuplot for Windows NT. See my web page of Gnuplot links here. I am only marginally statisified with gnuplot. The software is easy to use and the Windows NT version comes with a nice GUI and a nice help system. However, when it comes to 3-D plots, the software leaves some things to be desired. The hidden line removal consumes vast amounts of virtual memory. When I tried to plot one of the coefficients surfaces with the x and z axes switched, it ran out of memory on a Windows NT system with 256K of virtual memory. Also, the surface would be much easier to understand if it could be colored with a spectrum. If you know of a better 3D plotting package that runs on Windows NT, please drop me a note. I have also had a hard time getting gnuplot to generate 2-D plots with multiple lines that have different colors. I have succeeded in doing this only when the data for each line was in a separate file, which can be awkward. I was sent the reference to Root by a physicist, Costas A. Root is a data analysis framework that is targeted at the massive amounts of data generated by high energy physics experiments at CERN and elsewhere. Although Root leans heavily toward physics, it looks to me like Root would be useful in other areas. Some of the statistical techniques that are used to analyze results in experimental physics is also used in quantitive finance, for example. Root has different goals than gnuPlot. It is targeted at a much more challenging data analysis enviroment (terabytes of data). But it has a large learning curve and Im skeptical if it can be easily used by those who do not have a sophisticated command of C. In contrast gnuPlot is a simple plotting environment. So my search for a better plotting environment continues. I know that such environments are supported by Matlab and Mathematics, but these packages are too expensive for my limited software budget. References Ripples in Mathematics: the Discrete Wavelet Transform by Jensen and la Cour-Harbo, 2001 So far this is the best book Ive found on wavelets. I read this book after I had spent months reading many of the references that follow, so Im not sure how easy this book would be for someone with no previous exposure to wavelets. But I have yet to find any easy reference. Ripples in Mathematics covers Lifting Scheme wavelets which are easier to implement and understand. The book is written at a relatively introductory level and is aimed at engineers. The authors provide implementations for a number of wavelet algorithms. Ripples also covers the problem of applying wavelet algorithms like Daubechies D4 to finite data sets (e. g. they cover some solutions for the edge problems encountered for Daubechies wavelets). Wavelets and Filter Banks by Gilbert Strang and Truong Nguyen, Wellesley Cambridge Pr, 1996 A colleague recommend this book, although he could not load it to me since it is packed away in a box. Sadly this book is hard to find. I bought my copy via abebooks, used, from a book dealer in Australia. While I was waiting for the book I read a few of Gilbert Strangs journal articles. Gilbert Strang is one of the best writers Ive encountered in mathematics. I have only just started working through this book, but it looks like an excellent, although mathematical, book on wavelets. Wavelets Made Easy by Yves Nievergelt, Birkhauser, 1999 This books has two excellent chapters on Haar wavelets (Chapter 1 covers 1-D Haar wavelets and Chapter 2 covers 2-D wavelets). At least in his coverage of Haar wavelts, Prof. Nievergelt writes clearly and includes plenty of examples. The coverage of Haar wavelets uses only basic mathematics (e. g. algebra). Following the chapter on Haar wavelets there is a chapter on Daubechies wavelets. Daubechies wavelets are derived from a general class of wavelet transforms, which includes Haar wavelets. Daubechies wavelets are better for smoothly changing time series, but are probably overkill for financial time series. As Wavelets Made Easy progresses, it gets less easy. Following the chapter on Daubechies wavelets is a discussion of Fourier transforms. The later chapters delve into the mathematics behind wavelets. Prof. Nievergelt pretty much left me behind at the chapter on Fourier transforms. For an approachable discussion of Fourier transforms, see Understanding Digital Signal Processing by Richard G. Lyons (below). As Wavelets Made Easy progresses, it becomes less and less useful for wavelet algorithm implementation. In fact, while the mathematics Nievergelt uses to describe Daubechies wavelets is correct, the algorithm he describes to implement the Daubechies transform and inverse transform seems to be wrong. Wavelets Made Easy does not live up to the easy part of its title. Given this and the apparent errors in the Daubechies coverage, I am sorry to say that I cant recommend this book. Save your money and buy a copy of Ripples in Mathematics . Discovering Wavelets by Edward Aboufadel and Steven Schlicker At 125 pages, this is one of the most expensive wavelet books Ive purchased, on a per page basis. It sells on Amazon for 64.95 US. I bought it used for 42.50. If Discovering Wavelets provided a short, clear description of wavelets, the length would be a virtue, not a fault. Sadly this is not the case. Discovering Wavelets seems to be a book written for college students who have completed calculus and linear algebra. The book is heavy on theorms (which are incompletely explained) and very sort on useful explaination. I found the description of wavelets unnecessarily obscure. For example, Haar wavelets are described in terms of linear algebra. They can be much more simply described in terms of sums, differences and the so called pyramidal algorithm. While Discovering Wavelets covers some important material, its coverage is so obscure and cursory that I found the book useless. The book resembles a set of lecture notes and is of little use without the lecture (for their students sake I hope that Aboufadel and Schlicker are better teachers than writers). This is a book that I wish I had not purchased. Wavelet Methods for Time Series Analysis by Donald B. Percival and Andrew T. Walden, Cambridge University Press, 2000 Im not a mathematician and I dont play one on television. So this book is heavy going for me. Never the less, this is a good book. For someone with a better mathematical background this might be an excellent book. The authors provide a clear discussion of wavelets and a variety of time series analsysis techniques. Unlike some mathematicians, Percival and Walden actually coded up the wavelet algorithms and understand the difficulties of implementation. They compare various wavelet families for various applications and chose the simplest one (Haar) in some cases. One of the great benifits of Wavelet Methods for Time Series Analysis is that it provides a clear summary of a great deal of the recent research. But Percival and Walden put the research in an applied context. For example Donoho and Johnstone published an equation for wavelet noise reduction. I have been unable to find all of their papers on the Web and I have never understood how to calculate some of the terms in the equation in practice. I found this definition in Wavelet Methods . The World According to Wavelets: The Story of a Mathematical Technique in the Making by Barbara Burke Hubbard, A. K. Peters, 1996 This book provides an interesting history of the development of wavelets. This includes sketches of many of the people involved in pioneering the application and mathematical theory behind wavelets. Although Ms. Hubbard makes a heroic effort, I found the explaination of wavelets difficult to follow. The Cartoon Guide To Statistics by Larry Gonic and Woollcott Smith, Harper Collins I work with a number of mathematicians, so its a bit embarrassing to have this book on my disk. I never took statistics. In college everyone I knew who took statistics didnt like it. Since it was not required for my major (as calculus was), I did not take statistics. Ive come to understand how useful statistics is. I wanted to filter out Gaussian noise, so I needed to understand normal curves. Although the title is a bit embarrassing, The Cartoon Guide to Statistics provided a very rapid and readable introduction to statistics. Understanding Digital Signal Processing by Richard G. Lyons. This book is fantastic. Perhaps the best introductory book ever written on digital signal processing. It is the book on signal processing for software engineers like myself with tepid mathematical backgrounds. It provides the best coverage Ive ever seen on DFTs and FFTs. In fact, this book has inspired me to try FFTs on financial time series (an interesting experiment, but wavelets produce better results and Fourier transforms on non-stationary time series). See my web page A Notebook Compiled While Reading Understanding Digital Signal Processing by Lyons My web page on the wavelet Lifting Scheme. The Haar wavelet algorithm expressed using the wavelet Lifting Scheme is considerably simpler than the algorithm referenced above. The Lifting Scheme also allows Haar wavelet to be extended into a wavelet algorithms that have perfect reconstruction and have better multiscale resolution than Haar wavelets. Emil Mikulic has published a simple explaination of the Haar transform, for both 1-D and 2-D data. For those who find my explaination obscure, this might be a good resource. The Wavelet Tutorial . The Engineers Ultimate Guide to Wavelet Analysis, by Robi Polikar. The ultimate guide to wavelet analysis has yet to be written, at least for my purposes. But Prof. Polikars Wavelet Tutorial is excellent. When it comes to explaining Wavelets and Fourier transforms, this is one of the best overviews Ive seen. Prof. Polikar put a great deal of work into this tutorial and I am greateful for his effort. However, there was not sufficient detail in this tutorial to allow me to create my own wavelet and inverse wavelet tranform software. This Web page (which is also available in PDF) provides a nice overview of the theory behind wavelets. But as with Robi Polikars web page, its a big step from this material to a software implementation. Whether this Web page is really friendly depends on who your friends are. If you friends are calculus and taylor series, then this paper is for you. After working my way through a good part of Wavelets Made Easy this paper filled in some hole for me. But I would not have understood it if I had read it before Wavelets Made Easy . Wim Sweldens, who has published a lot of material on the Web (he is the editor of Wavelet Digest ) and elsewhere on Wavelets is a member of this group. An interesting site with lots of great links to other web resources. Lifting Scheme Wavelets Win Sweldens and Ingrid Daubechies invented a new wavelet technique known as the lifting scheme . Gabriel Fernandez has published an excellent bibliography on the lifting scheme wavelets which can be found here. This bibliography has a pointer to Wim Sweldens and Peter Schroders lifting scheme tutorial Building Your Own Wavelets at Home . Clemens Valens has written a tutorial on the fast lifting wavelet transform. This is a rather mathematically oriented tutorial. For many, Wim Sweldens paper Building Your Ownh Wavlets at Home may be easier to under stand (although I still found this paper heavy going). Gabriel Fernandez has developed LiftPack . The LiftPack Home Page publishes the LiftPack software. The bibliography is a sub-page of the LiftPack Home page. Wavelets in Computer Graphis One of the papers referenced in Gabriel Fernandezs lifting scheme bibliography is Wim Sweldens and Peter Schroders paper Building Your Own Wavelets at Home . This is part of a course on Wavelets in Computer Graphics given at SigGraph 1994, 1995 and 1996. The sigGraph course coverd an amazing amount of material. Building Your Own Wavelets at Home was apparently covered in a morning. There are a lot of mathematically gifted people in computer graphics. But even for these people, this looks like tough going for a morning. Ive spent hours reading and rereading this tutorial before I understood it enough to implement the polynomial interpolation wavelets that it discusses. D. Donoho De-Noising By Soft-Thresholding . IEEE Trans. on Information Theory, Vol 41, No. 3, pp. 613-627, 1995. D. Donoho Adapting to Unknown Smoothness via Wavelet Shrinkage . JASA. 1995. CalTech Multi-Resolution Modeling Group Publications The Wavelets in Computer Graphics page, referenced above, is one of the links from the CalTech Multi-resolution Modeling Group Publications web page. The wavelet publications referenced on this page concentrate on wavelet applications for computer graphics. This is yet another introductory tutorial by a mathematician. It gives a feeling for what you can do with wavelets, but there is not enough detail to understand the details of implementing wavelet code. Amara Graps web page provides some good basic introductory material on wavelets and some excellent links to other Web resources. There is also a link to the authors (Amara) IEEE Computational Sciences and Engineering article on wavelets. Wave from Ryerson Polytechnic University Computational Signals Analysis Group Wave is a C class library for wavelet and signal analysis. This library is provided in source form. I have not examined it in detail yet. Wavelet and signal processing algorithms are usually fairly simple (they consist of a relatively small amount of code). My experience has been that the implementation of the algorithms is not as time consuming as understanding the algorithms and how they can be applied. Since one of the best ways to understand the algorithms is to implement and apply them, Im not sure how much leverage Wave provides unless you already understand wavelet algorithms. Wavelet Compression Arrives by Peter Dyson, Seybold Reports, April 1998. This is an increasingly dated discussion on wavelet compression products, especially for images. The description of the compression products strengths and weaknesses is good, but the description of wavelets is poor. Prof. Zbigniew R. Struzik of Centrum voor Wiskunde en Informatica in the Netherlands has done some very interesting work with wavelets in a variety of areas, including data mining in finance. This web page has a link to Prof. Struziks publications (at the bottom of the Web page). Prof. Struziks work also shows some interesting connections between fractals and wavelets. Disclaimer This web page was written on nights and weekends, using my computer resources. This Web page does not necessarily reflect the views of my employer (at the time this web page was written). Nothing published here should be interpreted as a reflection on any techniques used by my employer (at that time). Ian Kaplan, July 2001 Revised: February 2004
No comments:
Post a Comment