Well-form dữ liệu với việc xử lý thiếu đóng thẻ sử dụng StAX Iterator API

Tác giả: Mai Vũ Cường

Mục đích: Chủ đề bài viết này nhằm hướng dẫn việc lấy dữ liệu trong quá trình crawl dữ liệu từ các web site (HTML tĩnh) có lỗi thiếu thẻ đóng   sử dụng StAX (Streaming API for XML) Iterator API. Bài viết này đưa ra giải pháp cho việc lấy được dữ liệu của tài liệu XML đang xử lý mà không well-formed và tiếp tục thực hiện parse cho đến hết toàn bộ văn bản xử lý.

Dùng StAX Parser để xây dựng ứng dụng như trên cơ sở dữ liệu – CRUD

Mục đích: Chủ đề của bài này giới thiệu về bộ StAX (Streaming API for XML) Parser dùng để thực hiện tất cả thao tác trên tài liệu XML từ tìm kiếm đến thêm, xóa, sửa trên tài liệu tương tự như với thao tác trên cơ sở dữ liệu. Với tính đơn giản hơn SAX, dễ sử dụng không đòi hỏi logic cao như SAX và cực kỳ tiết kiệm bộ nhớ cùng với khả năng xử lý tài liệu XML cực kỳ lớn mà không ảnh hưởng đến bộ nhớ trong quá trình xử lý. Hơn thế nữa, khả năng kết hợp với công nghệ khác để xử lý một phần tài liệu XML trở thành Object cần xử lý và đưa lại tài liệu xử lý, cụ thể như kết hợp StAX với JAXB để xử lý một phần tài liệu XML. Chúng tôi sẽ hướng dẫn quí vị xây dựng một ứng dụng web đầy đủ sử dụng StAX để thấy được tính hiệu quả của nó cùng với sự kết hợp với  JAXB để cho thấy khả năng xử lý một phần tài liệu XML thành Object khi ứng dụng đang thực thi.

Sử dụng XML Parser trích xuất dữ liệu từ website và sử dụng JAXB để lưu trữ các giá trị này trong việc xử lý của ứng dụng

Tác giả: Lương Công Thuận

Mục đích: bài viết  này hướng dẫn khai thác thông tin có sẵn trên các website (các web này không sử dụng jquery hay javascript để tạo front end tương tác với người sử dụng) thay vì nhập liệu theo cách truyền thống. Bài viết sử dụng bộ StAX parser để parse hay phân tích dữ liệu của trang HTML và chuyển thành dữ liệu có cấu trúc. Cách thức này hỗ trợ việc thu thập dữ liệu tự động từ trang các web như là chứng khoáng, thời tiết, sản phẩm, tin tức, …

Parse tài liệu Xml không Well-Formed sử dụng StAX parser với các trường hợp thiếu thẻ đóng tag và thẻ sai thẻ đóng tag

Tác giả: Nguyễn Sinh Cung

Mục đích: Bài viết này nhằm hỗ trợ việc phân tích dữ liệu từ tài liệu xml chưa well-formed, cụ thể là việc crawl dữ liệu từ các trang website sử dụng html. Bài viết này sử dụng bộ StAX parser để xử lý các trường hợp trong quá trình parse tài liệu chưa well-form khi thiếu thẻ đóng và sai thẻ đóng, tiếp tục quá trình xử lý mà không dừng chương trình lại.

Trích xuất dữ liệu từ website sử dụng Multithreading và xây dựng các class tổng quát để hỗ trợ tính đa dạng khi khai thác ứng dụng

Tác giả: Nguyễn Thế Phương

Mục đích: Nội dung bài này hướng dẫn cách tối ưu trong việc khai thác dữ liệu lớn tận dụng khả năng của máy tính có nhiều CPU hay nhiều nhân – Core kết hợp với hệ điều hành hỗ trợ đa luồng – multi-threading để tăng hiệu suất và tốc độ trong quá trình khai thác và xử lý dữ liệu. Chúng tôi sẽ định hướng cách chia nhóm công viêc cho các thread thực hiện trong quá trình cào dữ liệu từ một trang web khác đem về để tổ chức thành dữ liệu khai thác trong hệ thống đang được xây dựng.

Parse tài liệu XML không validation áp dụng cơ chế tiền xử lí và thực hiện chia nhỏ tài liệu phân tích thành các XML fragment

Tác giả: Lê Thanh Nam

Mục đích: Bài viết nhằm hướng dẫn parse và xử lí tài liệu XML chưa well-formed. Một tài liệu XML được xem là lỗi khi không well-formed hoặc không validate. Tuy nhiên các bộ parser có sẵn trong JDK như SAX và StAX không hỗ trợ trong việc xử lí các tài liệu xml không well-formed (SAX kiểm tra well-formed mới xử lý, StAX kiểm tra well-formed từng phần, đa số các trường hợp không đúng chuẩn well-formed sẽ dừng quá trình xử lí). Chúng tôi giới thiệu giải pháp xử lý các vấn đề này thông qua việc hiện thực bộ Resolver nhằm giải quyết trường hợp lỗi well-formed thông dụng nhất như lỗi nested tag (thiếu, thừa thẻ). Bên cạnh đó, chúng tôi sẽ hướng dẫn cách chia tài liệu xml thành nhiều phần nhỏ nhằm giải quyết xử lý các nội dung không well-formed một cách dễ dàng hơn. Giải pháp này sử dụng các bộ parser SAX và StAX kết hợp việc validate dữ liệu sử dụng JAXB kết hợp với bộ Validator.

Sử dụng mô hình “Máy trạng thái” (State-machine) để biến đổi nội dung HTML thành chuẩn XML well-formed mà không cần hardcode

Tác giả: Bạch Minh Nam

 Mục đích: Chủ đề của bài viết này hướng dẫn cách hiện thực bộ tiền xử lý nội dung HTML thành chuẩn XML well-formed, trước khi đưa vào các bộ parser để đọc XML như DOM, StAX hoặc SAX với mục tiêu trích xuất dữ liệu.

Trích xuất dữ liệu từ trang web, xử lý lỗi trong quá trình parse dữ liệu, xử lý dữ liệu có unicode, xây dựng cách thức chuyển đổi dữ liệu linh hoạt và trình bày dữ liệu kết hợp XSL có nhúng JavaScript

Tác giả: Nguyễn Công Chính

Mục đích: Chủ đề của bài viết này nhằm hướng dẫn cách thực hiện Scrapping Data (Parse dữ liệu từ websites) thông qua bộ parser StaX và cụ thể là StaX Cursor. Ngoài ra, bài viết còn hướng tới mục tiêu xử lý dữ liệu bằng cách chuyển dữ liệu đã scrapping từ websites thành XML thông qua việc Marshaller linh động với nhiều object có cấu trúc khác nhau. Cuối cùng, áp dụng XSLT trên trang JSP kết hợp JavaScript để có thể xem dữ liệu hiển thị ở browser cho người dùng.

Trích xuất dữ liệu theo phương pháp tận dụng chức năng tìm kiếm của website đang trích xuất và một số kỹ thuật hỗ trợ tiền xử lý và đồng bộ dữ liệu được trích xuất vào bộ lưu trữ

Tác giả: Lê Hùng Sơn

Mục đích:

Bài viết cung cấp phương pháp tiếp cận về trích xuất dữ liệu trên các website bằng cách tận dụng bộ tìm kiếm sẵn trên các trang đang xử lý. Đây là ý tưởng có thể ứng dụng cho trang web sử dụng kỹ thuật động mà không cần sử dụng các framework. Ở đây, chúng tôi sẽ xử lý trang diadiemanuong và foody như là trường hợp áp dụng cho việc lấy danh mục dữ liệu và lấy thông tin ở một trang khác.

Bên cạnh đó, chúng tôi giới thiệu một số kỹ thuật hỗ trợ trong việc tiền xử lý dữ liệu sau khi trích xuất và đồng bộ dữ liệu đã được xử lý xuống bộ lưu trữ với mục đích hỗ trợ truy xuất dữ liệu một cách hiệu quả. Trong bài này, chúng tôi sử dụng bộ StAX parser kết hợp JAXB để trích xuất khai thác và đồng bộ dữ liệu.

Video: Sử dung StAX để parsing tập tin XML

- Xây dung thư viện parse với StAX, truy cập trị của attribute, lấy giá trị thân của một element
- Demo xử lý trên chức năng Login

JAXB – chuyển đổi XML-Schema hay DTD trở thành Java Class, chuyển đổi từ XML sang Java Object và ngược lại

Mục đích: Chủ đề của bài này giới thiệu về framework JAXB – Java Architecture for XML Binding – hỗ trợ chuyển đổi XML-Schema hay DTD trở thành Java Class, và mapping dữ liệu từ XML sang thành Java Object và ngược lại. Chúng tôi sẽ thực hiện các bước hướng dẫn kết hợp với các ví dụ cụ thể nhằm thể hiện rõ khái niệm và cách sử dụng JAXB trong quá trình xây dựng ứng dụng. Ngoài ra, chúng tôi cung cấp các nội dung nâng cao khác đế ứng dụng trong việc xây dựng phần mềm như là mapping các kiểu dữ liệu trong schema với java class, tạo ra một order hoàn chỉnh phối hợp giữa các object customer – order – orderDetails - … sử dụng JAXB và keyword any trong XML Schema, phối hợp giữa quá trình marshaller XML với XSL để tạo ra tài liệu khác như là HTML.

Sử dụng XML trên JSP để trình bày và xử lý dữ liệu

Mục đích: Chủ đề của bài này giới thiệu về cách thức sử dụng XML trên trang JSP với các model tương ứng để trình bày giao diện và tận dụng dữ liệu có sẵn để trình bày nội dung ra màn hình hiển thị. Bên cạnh đó, bài viết thể hiện khả năng mạnh mẽ của JSP sử dụng EL và JSTL để hỗ trợ đơn giản hóa việc xử lý XML trên trang JSP. Bài viết cũng đưa ra ý niệm trong việc khai thác một phần tài liệu XML sử dụng XPATH dựa trên context đang xử lý. Song song với lý thuyết, bài viết cũng đưa ra một ví dụ cụ thể để cho thay cách áp dụng nội dung về lý thuyết. Trong ví dụ này, chúng tôi giới thiệu đến quí vị cách xử lý tài liệu XML có sử dụng namespace độc lập với parser và API để quí vị có thể ứng dụng khi apply tài liệu XML có namespace với stylesheet và xử lý trong ứng dụng bởi vì trong thực tế xây dựng ứng dụng và trao đổi dữ liệu thì XML luôn luôn phải có namespace. Bài viết sẽ đưa ra các mô hình ứng dụng XML kết hợp DB và JAXB để trình bày và xử lý giao diện và tối ưu trong quá trình xử lý thông qua các model single, multiple và combination pipeline. Thêm vào đó, bài viết cũng đưa giải pháp xử lý date trong xpath và ứng dụng JSTL – functions taglib để tiền xử lý dữ liệu trước khi đưa vào xpath

Sử dụng mô hình “Máy trạng thái” (State-machine) kết hợp đọc schema để khôi phục tài liệu XML bị lỗi

Tác giả: Bạch Minh Nam

 Mục đích: Chủ đề của bài viết này hướng dẫn cách hiện thực bộ đọc cú pháp XML bằng sơ đồ máy trạng thái (dựa trên những khái niệm đã được trình bày trong bài viết trước đó, tham khảo tại địa chỉ https://www.kieutrongkhanh.net/search?q=State-machine), kết hợp phân tích schema để khôi phục lại tài liệu XML bị các lỗi liên quan đến thiếu thẻ đóng/mở.

Xquery – Giới thiệu các khái niệm về Xquery, cú pháp và cách sử dụng Xquery, và API - SAXON để sử dụng Xquery trong ứng dụng thực tế

Mục đích: Chủ đề của bài này giới thiệu Xquery và một số cú pháp cơ bản, một thành phần hỗ trợ giúp để ứng dụng vào XML kết hợp XPath để truy vấn dữ liệu và tạo ra kết xuất theo định dạng yêu cầu trong quá trình xử lý. Chúng tôi sẽ mô tả nội dung cú pháp với những nội dung đơn giản nhất trong chủ đề này cùng với cách sử dụng song song được thể hiện qua các ví dụ để quí vị có thể tiếp cận ý niệm mới một cách dễ dàng. Nội dung bài này sẽ là nền tảng để tiếp cận chủ đề xây dựng ứng dụng web với việc sử dụng XML là dữ liệu và sử dụng Xquery để truy vấn và kết xuất dữ liệu. Trong chủ đề này, chúng tôi cũng sẽ giới thiệu API - SAXON kết hợp với Xquery để có thể áp dụng Xquery trong các ứng dụng của java application hay J2EE/JavaEE