Vien Truong

Cau Hai

The AI, Machine Learning, and Deep Learning definition are becoming viral recently. Let's see how we could apply them to address our problems in the real world, especially in the Computer Vision field for the Image Classification task.

Build Deep Learning model for the Image Classification task (Part1): Pytorch model

&lt;html&gt;&lt;body&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Welcome back to Part 2 of my tutorial on building a deep learning model for image classification. In Part 1, It covered the basics of deep learning and walked through the steps to prepare our data for training and basic deep learning model or environment as well. Now, we will focus on the structure of the deep learning project and how to monitor it during training. In the previous blog, you could see I follow an &ldquo;all-in-one&rdquo; for combining all code into one file. In this blog I will introduce you to the basic deep learning project structure and some monitors to help you to track the model performance during training.&lt;/p&gt;&lt;h2 style=&quot;text-align:justify;&quot;&gt;1. Project Structure&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;When starting a new deep learning project, it's essential to plan ahead and think about the overall structure of the project. This will make it easier to maintain your code and data as your project grows, and to collaborate with other developers and researchers.&lt;/p&gt;&lt;h3 style=&quot;text-align:justify;&quot;&gt;Key components&lt;/h3&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Here are the key components of a deep learning project:&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Data&lt;/strong&gt;: The first step in any machine learning project is to gather and preprocess data. In the case of image classification, this means collecting a large dataset of images that are labeled with the corresponding classes. There are several popular datasets for image classification, such as CIFAR-10, MNIST, and ImageNet. You can also create your dataset by collecting images from various sources.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Once you have your dataset, you will need to preprocess it by resizing the images, normalizing the pixel values, and splitting it into training, validation, and testing sets. It's essential to ensure that your data is well-organized and that the directory structure is consistent across all subsets.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Model&lt;/strong&gt;: The next component of a deep learning project is the model itself. There are many deep learning architectures to choose from, such as Convolutional Neural Networks (CNNs), Residual Networks (ResNets), and Recurrent Neural Networks (RNNs). You can also use transfer learning by fine-tuning pre-trained models such as VGG16 or Inception.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;It's crucial to define the model architecture clearly and to document any hyperparameters and design decisions. This will make it easier to reproduce your results and to make changes to the model in the future.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Training&lt;/strong&gt;: Once you have your data and model, it's time to train the model on the training set. This involves running the images through the model and adjusting the weights and biases to minimize the loss function. You can use various optimization algorithms, such as stochastic gradient descent (SGD), Adam, or RMSprop.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;It's important to monitor the training process by logging the loss and accuracy metrics, and to use techniques such as early stopping and learning rate scheduling to prevent overfitting and speed up convergence.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Evaluation&lt;/strong&gt;: After training, you need to evaluate the performance of the model on the validation set. This involves running the images through the model and computing metrics such as accuracy, precision, recall, and F1 score. You can also use techniques such as confusion matrices and ROC curves to analyze the model's behavior.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;It's important to report the evaluation results clearly and to compare them with the state-of-the-art models in the literature. This will help you determine whether your model is good enough for the intended application.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Deployment&lt;/strong&gt;: Finally, once you have a trained and evaluated model, it's time to deploy it in the real world. This involves converting the model into a format that can be run on different platforms, such as TensorFlow Lite or ONNX. You can also deploy the model on the cloud or on edge devices such as Raspberry Pi or Jetson Nano.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;It's important to document the deployment process clearly and to test the model thoroughly on new data to ensure that it behaves as expected.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Now that we have covered the key components of a deep learning project, let's discuss how to organize your code and data to ensure efficiency and reproducibility.&lt;/p&gt;&lt;h3 style=&quot;text-align:justify;&quot;&gt;Code structure&lt;/h3&gt;&lt;h4 style=&quot;text-align:justify;&quot;&gt;Data Organization&lt;/h4&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;In this structure, we have separate directories for the training, validation, and testing data, with subdirectories for each class. This makes it easy to load the data using data generators or PyTorch datasets.&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;```
project/
  data/
    train/
      class1/
        image1.jpg
        image2.jpg
        ...
      class2/
        image1.jpg
        image2.jpg
        ...
      classN/
        image1.jpg
        image2.jpg
        ...
    val/
      class1/
        image1.jpg
        image2.jpg
        ...
      class2/
        image1.jpg
        image2.jpg
        ...
      classN/
        image1.jpg
        image2.jpg
        ...
    test/
      class1/
        image1.jpg
        image2.jpg
        ...
      class2/
        image1.jpg
        image2.jpg
        ...
      classN/
        image1.jpg
        image2.jpg
        ...        
```&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Fig1: Dataset structure&lt;/strong&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;It's essential to organize the data in a consistent and reproducible manner. Here are some tips for organizing the data:&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;- Use a consistent directory structure across all subsets&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;- Name the images using a clear and descriptive convention, such as `{class}-{index}.jpg`&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;- Use a separate CSV file or JSON file to store the class labels and image paths&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;- Use data augmentation techniques such as flipping and rotation to increase the size of the dataset&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;- Normalize the pixel values using a standard technique, such as dividing by 255 or subtracting the mean and dividing by the standard deviation&lt;/p&gt;&lt;h4 style=&quot;text-align:justify;&quot;&gt;Code Organization&lt;/h4&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;For the code organization, you could apply the basic structure like below:&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;project/
  data/
    train/
      ...
    val/
      ...
    test/
      ...
  config/
    config.yml
  src/
    model/
      __init__.py
      cnn1_model.py
      cnn2_model.py
      vgg16_model.py
      layers.py
    config.py
    dataset.py
    loss.py
    optim.py
    util.py
  train.py
  eval.py
  predict.py
  log/
  mlruns/
  model/
  requirements.txt
  README.md&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Fig2: Project structure&lt;/strong&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;data/&lt;/strong&gt;` directory contains the dataset&nbsp; for our project, you could follow the previous section to understand how to organize data for the Image classification task, and I will not mention it again.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/&lt;/strong&gt;` directory will contain all of our modules for building models like model architecture, loss modules, optimizer modules, or some support modules like utilities, config reader... It's important to modularize the code and to use clear naming conventions to make it easy to understand and modify.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/model/&lt;/strong&gt;` directory contains the the code for the model architecture, including any custom layers, e.g: `&lt;strong&gt;vgg16_model.py`&lt;/strong&gt;, `&lt;strong&gt;cnn_model.py`&lt;/strong&gt; or `&lt;strong&gt;layers.py`&lt;/strong&gt;&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/model/config.py&lt;/strong&gt;` file contains the the code for configuration object class, it will load the configuration for your model from the yaml file in `&lt;strong&gt;config/config.yml&lt;/strong&gt;` file, and then parsing the dict data into the Python Class object for you to use in the model.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/model/dataset.py&lt;/strong&gt;` file contains the code for the dataset reader object, for example we will define the Pytorch dataset loader in this module to use during the training process.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/model/loss.py&lt;/strong&gt;` file contains the code for the loss function of our models, we could define some custom loss function here.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;src/model/optim.py&lt;/strong&gt;` file contains the code for the optimizer module for the training process.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;The `&lt;strong&gt;train.py&lt;/strong&gt;`, `&lt;strong&gt;eval.py&lt;/strong&gt;`, and `&lt;strong&gt;predict.py&lt;/strong&gt;` scripts are responsible for training, evaluating, and deploying the model, respectively. These scripts should use the modules in the `&lt;strong&gt;src/&lt;/strong&gt;` directory and should take command-line arguments for flexibility.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Some other folders, like `&lt;strong&gt;log/&lt;/strong&gt;` will be used to store the training result using tensorboard tool, `&lt;strong&gt;mlrun/&lt;/strong&gt;` will be the same but for using mlflow tool, `&lt;strong&gt;model/&lt;/strong&gt;` will be used to store the trained model after finishing.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Finally, the `&lt;strong&gt;requirements.txt&lt;/strong&gt;` file contains a list of dependencies required to run the code, and the `&lt;strong&gt;README.md&lt;/strong&gt;` file provides documentation and instructions for running the project.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;For more detail, you could check the full demo source code here for the project structure:&nbsp;&lt;a href=&quot;https://github.com/phonglesaigontechnology/Image-Classification-Model-2&quot;&gt;&lt;u&gt;https://github.com/phonglesaigontechnology/Image-Classification-Model-2&lt;/u&gt;&lt;/a&gt;&nbsp;&lt;/p&gt;&lt;h2 style=&quot;text-align:justify;&quot;&gt;2. Monitoring&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;When training a deep learning model for image classification, it's essential to monitor its performance closely to ensure that it's learning effectively and not overfitting to the training data. Overfitting occurs when the model performs well on the training data but poorly on the test data, which indicates that it has memorized the training data instead of learning the underlying patterns.&lt;/p&gt;&lt;h3 style=&quot;text-align:justify;&quot;&gt;Monitor Values&lt;/h3&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;There are several ways to monitor the performance of your deep learning model during training.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Loss and accuracy&lt;/strong&gt;: The loss function is a measure of how well the model is able to predict the correct output for a given input. During training, the goal is to minimize the loss function, which means that the model is improving its ability to make accurate predictions. The accuracy metric measures the percentage of correctly classified images during training. It's a useful metric for evaluating the performance of the model on the training data, but it doesn't necessarily indicate how well the model will perform on new, unseen data.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;=&amp;gt; It's important to monitor the loss and accuracy metrics during training and to plot them over time using a visualization tool such as TensorBoard. This will allow you to see how the model is improving over time and to identify any potential issues, such as overfitting or underfitting.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Learning rate&lt;/strong&gt;: The learning rate is a hyperparameter that controls the step size taken during gradient descent optimization. It determines how quickly the model updates its weights during training.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;=&amp;gt; Monitoring the learning rate during training can help you to optimize it for better performance. If the learning rate is too high, the model may overshoot the optimal weights and converge to a suboptimal solution. If the learning rate is too low, the model may take too long to converge or get stuck in a local minimum.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Early stopping&lt;/strong&gt;: Early stopping is a technique used to prevent overfitting during training. It involves monitoring the performance of the model on a validation set and stopping the training process when the performance on the validation set stops improving.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;=&amp;gt; To implement early stopping, you can use a callback function in your training script that monitors the performance on the validation set and stops the training process when the performance stops improving for a certain number of epochs.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Regularization techniques&lt;/strong&gt;: Regularization techniques are used to prevent overfitting by adding additional constraints to the model during training. There are several types of regularization techniques, including L1 and L2 regularization, dropout, and data augmentation.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;=&amp;gt; Monitoring the impact of these techniques on the training performance can help you to optimize them for better performance. For example, you can experiment with different dropout rates or regularization strengths to see how they affect the model's performance.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;In conclusion, monitoring the performance of your deep learning model during training is essential for ensuring that it's learning effectively and not overfitting to the training data. By monitoring metrics such as loss, accuracy, learning rate, and regularization strength, you can optimize your model for better performance and prevent overfitting.&lt;/p&gt;&lt;h3 style=&quot;text-align:justify;&quot;&gt;Tools&lt;/h3&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;There are several other monitoring tools available for deep learning models. Here are a few examples: MLflow, Tensorboard, Neptune.ai, Weights &amp;amp; Biases, Comet.ml...&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;But I will only introduce you to MLflow and Tensorboard because they are not cloud-based tools. They are open-source platforms, free to use, and can be run locally or on a cluster, and it integrates with many popular machine learning libraries such as TensorFlow, PyTorch, and scikit-learn&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;MLflow&lt;/strong&gt; provides tools for managing experiments, packaging code into reproducible runs, and sharing and deploying models. MLflow allows you to track model training runs, experiment results, and model artifacts. You can use it to compare model performance across different experiments and to reproduce and share your results.&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;import mlflow
# Setup MLflow
mlflow.set_tracking_uri(&quot;./mlruns&quot;)
mlflow.set_experiment(&quot;MyModel CNN&quot;)
# Log params
for key, value in config.__dict__.items():
   mlflow.log_param(key, value)
# Log training loss
mlflow.log_metric('train_loss', loss.item(), step=global_step)
# Log training accuracy
mlflow.log_metric('val_accuracy', accuracy, step=epoch)
&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;To view the logs in MLFlow, run the command below in the terminal at the `&lt;strong&gt;project/&lt;/strong&gt;` folder and navigate to&nbsp;&lt;i&gt;http://localhost:5000&lt;/i&gt; in your browser.&nbsp;&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;(venv)$ mlflow ui&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-oNVFUFUjLmuGCuvmAgpczmhDMTG332h78Hu6Qcsi.png&quot;&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Fig3: MLFlow Dashboard UI&lt;/strong&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;TensorBoard&lt;/strong&gt; is a visualization toolkit that comes with TensorFlow. It allows you to visualize your TensorFlow model graph, training curves, and other metrics during training. TensorBoard can also help you debug your model and analyze its performance. It supports features such as profiling, graph visualization, and embedding visualizations.&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;from tensorboardX import SummaryWriter
# Setup TensorBoard
writer = SummaryWriter( &lsquo;log/tensorboard_cnn&rsquo;, time.strftime(&quot;%Y-%m-%d-%H-%M-%S&quot;)))
# Log training loss
writer.add_scalar('train/loss', loss.item(), global_step)
# Log training accuracy
writer.add_scalar('val/accuracy', accuracy, epoch)&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;To view the logs in TensorBoard, run the command below in the terminal at `&lt;strong&gt;project/&lt;/strong&gt;` folder and navigate to&nbsp;&lt;i&gt;http://localhost:6006&lt;/i&gt; in your browser.&nbsp;&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt;(venv)$ tensorboard --logdir=./logs/tensorboard_cnn&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-oIJlMKbfLMk7v2BWxfNmJU7BWg8WPSzEGeocUbRE.png&quot;&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Fig4: Tensorboard Dashboard UI&lt;/strong&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;In this code, we use the `&lt;strong&gt;SummaryWriter&lt;/strong&gt;` from TensorBoardX and the `&lt;strong&gt;mlflow`&lt;/strong&gt; library to log the training loss and test accuracy to both TensorBoard and MLflow.&nbsp;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Source: &lt;/strong&gt;https://saigontechnology.com/blog/build-deep-learning-model-for-the-image-classification-task-part2-structure-monitoring-for-training&lt;/p&gt;&lt;/body&gt;&lt;/html&gt;

When starting a new deep learning project, it's essential to plan ahead and think about the overall structure of the project. This will make it easier to maintain your code and data as your project grows, and to collaborate with other developers and researchers.

Build Deep Learning model for the Image Classification task (Part2): Structure, Monitoring for training

Build a Deep Learning model for the Image Classification task in a simple way

Tech Lead

Phuong Bui

.NET Developer

Vu Truong

Senior Developer

Trung Tran

Tech lead

Wind

Long Nguyen

Business Analyst

Duong Dat Thanh

<html><body><h2><strong>1/ What is a Database Transaction?</strong></h2><p>Database Transaction is a unit of work, which may include many actions we want to perform with the database system. In a simple word, the transaction represents any change in the database.</p><p>The main purpose of the transaction is:</p><ul><li>Furnish a dependable operational entity capable of facilitating accurate recovery and preserving database consistency during system failure.</li><li>Provide isolation between programs and allow concurrent access to the database.</li></ul><figure class="image image_resized" style="width:35.94%;"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/database-nj4N9CS0ArL3krODuPO9XLykiFwjdWyA6THcbKa6.webp"></figure><h2><strong>2/ Transaction basic and ACID properties</strong></h2><p>Each transaction can have a single operation or a set of operations, which will be performed sequentially. Transaction will wrap this set and use the following pattern to handle SQL execution:</p><ul><li>Begin the transaction.</li><li>Perform a series of data manipulations and/or queries.</li><li>If executed without encountering errors, commit the transaction.</li><li>However, if an error arises during the process, roll back the transaction to its initial state.</li></ul><figure class="image image_resized" style="width:79.12%;"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/Data%203-xzNeMcIxl87PmIk3glBKO8IMWq7llhuzFddFdgJl.webp"></figure><p>By following this pattern, the database can ensure it will provide the ACID properties, which will guarantee data validity despite errors, power failures, and other mishaps.</p><figure class="image image_resized" style="width:81.75%;"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/Data%201-q35H71HVdpwhb2wVlJtpjweXJY9XcYTZNvbRKFkC.webp"></figure><h3>2.1/ Atomicity</h3><p>Atomicity ensures that every transaction is viewed as a singular "unit," ensuring it either completes entirely or fails. In a simple word, it means all or nothing. All the statements (operations) in one transaction must either succeed or fail.</p><p>Consider a monetary transfer from bank account A to account B as an illustration of an atomic transaction. This process entails two distinct operations: withdrawing funds from account A and depositing them into account B. To maintain consistency, we mustn't observe the deduction from account A until we're confident that the corresponding credit has been made to account B. By executing these actions within an atomic transaction, we ensure that the database preserves its integrity. In the event of a failure in either operation, the database remains consistent, preventing any debits or credits from occurring.</p><h3>2.2/ Consistent</h3><p>Consistency guarantees that a transaction transitions the database from one coherent state to another, upholding database invariants. This means that any data modifications adhering to defined rules, such as constraints, cascades, triggers, and their combinations, must maintain validity. In essence, consistency ensures that the database remains in a reliable and predictable state after each transaction, preventing the introduction of invalid or contradictory data.</p><p>CREATE TABLE acid test (A INTEGER, B INTEGER, CHECK (A + B = 100));</p><p>Let’s imagine we have a table with a validation requirement check that A+B = 100.</p><p>Suppose a transaction attempts to deduct 10 from A without updating B. Given that consistency checks occur after each transaction, it's established that A + B equals 100 before the transaction initiation. While the deduction from A may succeed, ensuring atomicity, a subsequent validation check reveals A + B now equals 90, violating the database's rules. Consequently, the entire transaction must be aborted, and the affected rows rolled back to their pre-transaction state to maintain consistency.</p><h3>2.3/ Isolation</h3><p>If our system only executes one transaction by one, everything will be simple. </p><p>Transactions are frequently executed concurrently, necessitating isolation to ensure that concurrent transaction execution results in the same database state as if the transactions were executed sequentially. Isolation serves as the primary objective of concurrency control, guaranteeing that each transaction's effects on the database remain isolated from those of concurrently executing transactions. This isolation prevents interference or inconsistency between transactions, maintaining data integrity and consistency across the database.</p><p>Consider two transactions:</p><ul><li>T1 transfers 10 from A to B.</li><li>T2 transfers 20 from B to A.</li></ul><p>Combined, there are four actions:</p><ul><li>T1 subtracts 10 from A.</li><li>T1 adds 10 to B.</li><li>T2 subtracts 20 from B.</li><li>T2 adds 20 to A.</li></ul><p>If isolation is maintained, these operations are performed in order.</p><p>But if isolation is not maintained, the order of operations might be messed up. One of the possibilities might be:</p><ul><li>T1 subtracts 10 from A.</li><li>T2 subtracts 20 from B.</li><li>T2 adds 20 to A.</li><li>T1 adds 10 to B.</li></ul><p>Consider if T1 fails, but T2 already modified data so it cannot restore data before T1.</p><p>Depending on the isolation level used, the effects of an incomplete transaction might not be visible to other transactions, which we will deep dive into in another section of this article.</p><h3>2.4/ Durability</h3><p>Durability ensures that once a transaction has been successfully committed, its changes are permanently saved and will persist even in the event of a system failure, such as a power outage or crash. This means that once a transaction is confirmed as complete, its effects on the database are guaranteed to endure and will not be lost due to unexpected system failures.</p><h2><strong>3/ Concurrently control mechanism</strong></h2><p>There are many mechanisms to ensure that transactions are executed reliably, maintaining data integrity and allowing multiple transactions to work concurrently while preserving consistency like concurrency control mechanisms, transaction logging, and buffer management. In this section, I will talk about concurrent control mechanisms and how they work.</p><p>Executing transactions sequentially can indeed lead to increased waiting times for other transactions, potentially causing delays in overall execution. To enhance system throughput and efficiency, multiple transactions are executed concurrently. Concurrency control plays a crucial role in database management systems (DBMS) by facilitating simultaneous data manipulation or execution by multiple processes or users without compromising data consistency. By carefully coordinating the concurrent execution of transactions, concurrency control mechanisms ensure that data remains consistent and that transactions do not interfere with each other's operations, thereby optimizing system performance and resource utilization.</p><p>There are some commonly used concurrency control mechanisms: Lock-based concurrency control, Timestamp-based concurrency control, multi-version concurrency control (MVCC), Optimistic concurrency control, Two-phase locking (2PL), and Snapshot isolation. However, the most popular methods to be used to handle concurrent control are Lock-based and MVCC.</p><h3>3.1/ Lock-based</h3><p>This mechanism involves acquiring and releasing locks on database objects such as tables, rows, or columns to control access by concurrent transactions.</p><figure class="image image_resized" style="width:59.61%;"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/Data%204-A26jrksvP0Sx9GnYZ5yFkTwgyMnZ9CMB3iScsqSa.webp"></figure><h4>Type of locks</h4><p>There are different types of locks, including shared locks (read locks) and exclusive locks (write locks), which help prevent conflicting operations:</p><ul><li>Share locks: Allows multiple transactions to read the data item concurrently but prevents any transaction from modifying it until all shared locks are released.</li><li>Exclusive locks: Grants exclusive access to a data item, preventing other transactions from reading or writing it until the lock is released. Once a process acquires a lock on a resource, other processes attempting to acquire the same lock must wait.</li></ul><p>Multiple shared locks can be held simultaneously on a resource. However, if a resource is already locked with a shared lock, another process can't acquire an exclusive lock. Likewise, a process can't acquire a shared lock on a resource that's exclusively locked.</p><h4>Locking problems</h4><p>Although locking is a good way to handle concurrent access, it still has some issues. The three most common problems of locking are:</p><ul><li>Fails to release the lock:  What if the lock fails to release? It will block other transactions and the whole process will be blocked. </li><li>Lock contentions: Some resources may be accessed frequently and multiple transactions could try to acquire locks on these resources at the same time. It leads to subsequent transactions that may encounter delays while waiting for others to complete, resulting in contention for these resources or locks. Imagine you are in a line waiting to check out but there is only 1 counter.</li><li>Locking deadlock: one transaction locks resource A and tries to access the lock on resource B before releasing the lock on the first resource. Simultaneously, another process acquires the lock on resource B while attempting to acquire the lock on resource A. Consequently, both processes remain incomplete until they obtain these locks.</li></ul><h3>3.2/ MVCC</h3><p>An alternative approach to locking is multiversion concurrency control (MVCC), where the database offers each reading transaction the original, unaltered version of data being modified by another active transaction. This enables readers to function without requiring locks, meaning writing transactions doesn't impede reading transactions, and vice versa.</p><h4>Isolation and its problems</h4><p>Remember that the results of the transaction are only visible after a commit to the database happens so what happens when a transaction tries to read a row updated by another transaction? Now our application can handle multiple concurrent actions at the same time, that’s why we will be faced with more complex problems.</p><p>Most of our operations are READ and that’s why most of the problem is about read phenomena.</p><p>We have 4 common read phenomena including:</p><ul><li>Dirty read: Occurs when a transaction reads data modified by another concurrent transaction that has not yet been committed. This can lead to reading inconsistent or erroneous data.</li><li>Nonrepeatable read: This happens when a transaction re-reads data it has previously retrieved and finds that the data has been altered by another transaction that has since been committed. This inconsistency may cause unexpected behaviour.</li><li>Phantom read: Occurs when a transaction re-executes a query with a search condition and finds that the set of rows satisfying the condition has changed due to another transaction being committed in the meantime. This can lead to inconsistencies in query results.</li><li>Serialization anomaly: Refers to a situation where the outcome of executing a group of transactions together is different from the result obtained by executing the same transactions sequentially, one after the other. This inconsistency can violate the desired consistency of the database.</li></ul><h4>Isolation levels</h4><p>With the special problems of reading data when operating with multiple concurrent operations, our database system needs to implement different levels of isolation to solve problems for different use cases.</p><ul><li>Read uncommitted: The lowest isolation level, allowing transactions to read data that hasn't been committed by other transactions. This level doesn't provide isolation, meaning that concurrent transactions may see uncommitted data, potentially leading to inconsistent or incorrect results.</li><li>Read committed: This level allows transactions to read only committed data, preventing dirty reads. However, it doesn't address non-repeatable or phantom reads, as it doesn't lock data during read operations. This is the default isolation level in PostgreSQL.</li><li>Read committed: Transactions at this level lock resources throughout the transaction, preventing other transactions from modifying the same data. While it helps against non-repeatable reads, it may still encounter phantom reads. This level is often used to maintain consistency in data-intensive operations.</li><li>Serializable: The highest level of isolation, emulating serial execution of transactions. All concurrent transactions are treated as if they were executed one after the other, ensuring the highest level of consistency and preventing all concurrency-related anomalies, including non-repeatable reads and phantom reads.</li></ul><figure class="image"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/Data%205-A3N7amL9p17duVPtyxsPcxNXMqBu9QyfKKw9rGc4.webp"></figure><p>Although read uncommitted is the lowest isolation level. Some modern relational database systems like PostgreSQL do not allow it to happen in their system.</p><h2><strong>4/ Demo</strong></h2><p>One of the most valuable characteristics of isolation with developers is Atomicity. When you have to implement an API with a ton of operations including read, write, and update and once an operation fails, others fail and immediately roll back data to the previous state to make sure our database system is consistent. Remember to use database transactions in this case. <br>My simple demo will help you to know how you can use transactions with NodeJS and Prisma: wrap all your operations with Prisma inside the transaction. In my code, assume my application is an application that only allows users to add money to their account with a specific money source: MOMO and VPBANK. My scenario is to create a transaction to add money from the “MOMON” source, which is not allowed in our system. <br>Please check my code for more details.</p><h2><strong>5/ Conclusion</strong></h2><p>In conclusion, transactions are a vital aspect of database management systems, providing a mechanism for ensuring data integrity, consistency, and reliability. By grouping database operations into atomic units, transactions allow for the execution of multiple operations as a single, indivisible entity. This ensures that either all operations succeed and are committed to the database, or none of them are executed, maintaining data integrity and preventing partial updates.</p><p>Choosing a higher isolation level usually comes with a performance trade-off due to increased locking or versioning mechanisms to maintain consistency. The choice of isolation level depends on the specific requirements of your application, balancing the need for data consistency with the desired level of concurrency.</p><p><strong>Resources:</strong></p><ul><li>Demo source code: <a href="https://github.com/saigontechnology/Blog-Resources/tree/main/NodeJS/Khanh.Nguyen/NestJS-Prisma-Transaction"><u>Repo’s link</u></a></li></ul><p><strong>References:  </strong><br><u>- https://medium.com/inspiredbrilliance/what-are-database-locks-1aff9117c290</u> <br><u>- https://www.postgresql.org/docs/current/transaction-iso.html</u></p></body></html>

Let's take a look into one of the most fundamental concepts of databases. This article will show you the main concepts of transaction and  how you can manage transactions in NodeJS with Prisma.

Database Transaction and how to handle it in NodeJS with Prisma

AWS Lambda and Google Cloud Functions are serverless computing platforms. Lambda offers broader language support and integrates well within the AWS ecosystem, while Cloud Functions excels at integration with Google Cloud services and shines in real-time data processing scenarios.

Comparison of AWS Lambda and Google Cloud Functions

Cám ơn bài viết hay, nhưng mình thấy lý thuyết hơn nhiều, chưa có ví dụ để làm rõ

Nin Tran

<html><body><h2 style="text-align:justify;">1. Kiến trúc N-Layer</h2><p style="text-align:justify;">Chúng ta sẽ có các lớp logic và vật lý khác nhau đáp ứng cho các nhu cầu trong quá trình phát triển ứng dụng. Hầu hết các ứng dụng sử dụng kiến trúc này đều sẽ chứa 4 lớp: presentation, business, persistence và database. Tùy thuộc vào độ phức tạp của ứng dụng mà các lớp sẽ nhiều hoặc ít hơn.</p><figure class="image"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-qMDyPoAWykT2Iwws5bsA5h2lA9Asp2r769b8hj8N.png"></figure><h6 style="text-align:justify;"><strong>Nguồn</strong>: <a href="https://www.oreilly.com/library/view/software-architecture-patterns/9781491971437/?_gl=1*7a1tjd*_ga*NzE5NTM3ODY4LjE2NzkzODcyOTk.*_ga_092EL089CH*MTY3OTYzMDAzNy42LjEuMTY3OTYzMDA1NS40Mi4wLjA."><i><strong>Software Architecture Patterns by Mark Richards</strong></i></a></h6><p style="text-align:justify;">Các lớp trong mô hình kiến trúc này sẽ đảm nhiệm một vai trò cụ thể, và khi đứng từ một lớp nào đó, chúng ta chỉ có thể giao tiếp với các lớp bên trên hoặc bên dưới của nó. Trong đó:</p><ul><li style="text-align:justify;">Presentation: là lớp sẽ đảm nhiệm việc tương tác với người dùng, như là giao diện người dùng hoặc cung cấp thông tin dưới dạng Web API.</li><li style="text-align:justify;">Business: được xem như là thành phần chính trong các ứng dụng, là lớp sẽ chứa các logic nghiệp vụ, ánh xạ trực tiếp đến các nghiệp vụ thực tế mà ứng dụng cần đáp ứng.</li><li style="text-align:justify;">Persistence: là lớp truy xuất và lưu trữ dữ liệu bằng cách giao tiếp với lớp Database.</li><li style="text-align:justify;">Database: là nơi lưu trữ dữ liệu của ứng dụng, như là các cơ sở dữ liệu (SQL, No-SQL) hoặc File (Excel, CSV) ...</li></ul><p style="text-align:justify;">Kiến trúc N-Layer có một số ưu điểm có thể kể đến đó là đơn giản, có thể tái sử dụng, kiểm thử độc lập, giúp cho lập trình viên có thể dễ tiếp cận và làm việc với các logic nghiệp vụ nhanh chóng. Vì vậy, chúng ta có thể sử dụng kiến trúc này cho các ứng dụng quy mô nhỏ hoặc thông thường.</p><p style="text-align:justify;">Tuy nhiên, đối với các ứng dụng quy mô lớn, tính mở rộng và phức tạp cao, thì kiến trúc sẽ hoạt động không hiệu quả. Do thiết kế phân lớp, việc thay đổi logic ở một lớp nào đó sẽ khó cập nhật lại ở các lớp khác, đồng thời cũng gây giảm hiệu suất vì các lớp không liền kề phải giao tiếp gián tiếp thông qua một lớp khác. Điều này làm cho ứng dụng sẽ ngày càng trở nên phức tạp và cồng kềnh hơn khi logic nghiệp vụ cũng nhiều hơn.</p><h2 style="text-align:justify;">2. Kiến trúc Onion</h2><p style="text-align:justify;">Được giới thiệu lần đầu tiên bởi Jeffrey Palermo và năm 2008, để khắc phục các vấn đề kể trên của N-Layer, dựa trên mô hình Domain Driven, tức là xây dựng ứng dụng theo hướng tập trung vào Domain (nghiệp vụ). Từ cái tên "Onion", dịch ra là củ hành tây, ta có thể hiểu được ý đồ của mô hình này là đặt domain làm trung tâm, và bao bọc dần xung quanh bởi các lớp hệ thống khác.</p><figure class="image"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-PLCfIJtUNLXs2P2w7dVtbBJaIFlEafSq30vXLWIj.png"></figure><h6 style="text-align:justify;"><strong>Nguồn</strong>: <a href="https://www.thoughtworks.com/insights/blog/architecture/demystify-software-architecture-patterns"><i><strong>Demystifying software architecture patterns</strong></i></a></h6><p style="text-align:justify;">Các lớp trong Onion được cải tiến dựa trên nguyên lý Dependency Inversion để giải quyết vấn đề phân lớp quá chặt chẽ của N-Layer. Đối với các lập trình viên .NET Core, việc cải tiến này được thể hiện thông qua Dependency Injection, được hỗ trợ sẵn, nhằm giảm tối đa sự phụ thuộc giữa các lớp, service với nhau.</p><p style="text-align:justify;">Thông thường, Onion sẽ có 4 lớp chính: domain model, domain services, application service và presentation. Như đã đề cập ở trên, Domain Model sẽ là lớp trung tâm của kiến trúc này. Trong đó:</p><ul><li style="text-align:justify;">Domain Model: là nơi tập trung các trạng thái và phương thức, hành vi nghiệp vụ của ứng dụng.</li><li style="text-align:justify;">Domain Services: là lớp kế tiếp domain model, chứa các interfaces cho việc lưu trữ dữ liệu, phương thức truy xuất, còn được gọi là Repository.</li><li style="text-align:justify;">Application Services: chứa các interfaces với các phương thức như là Thêm, xóa, sửa.. Ở các lớp services sẽ chỉ chứa các interfaces và các commons class.</li><li style="text-align:justify;">Presentation: chứa UI và tests. Lớp này cũng chứa các cài đặt của các interface ở tầng services.</li></ul><p style="text-align:justify;">Một số ưu điểm của kiến trúc này:</p><ul><li style="text-align:justify;">Ít bị ràng buộc giữa các lớp với nhau</li><li style="text-align:justify;">Xây dựng tập trung vào nghiệp vụ</li><li style="text-align:justify;">Linh hoạt, dễ chuyển đổi, bổ sung và mở rộng</li><li style="text-align:justify;">Có thể đưa vào phát triển với mẫu DDD (Domain-Driven Design)</li></ul><p style="text-align:justify;">Bên cạnh đó, một số nhược điểm dễ nhận thấy ở kiến trúc Onion này là:</p><ul><li style="text-align:justify;">Khó tiếp cận đối với những lập trình viên mới bắt đầu tham gia, đòi hỏi thời gian học và tìm hiểu sâu</li><li style="text-align:justify;">Phức tạp và khó áp dụng nếu ứng dụng không có nhiều nghiệp vụ</li></ul><h2 style="text-align:justify;">3. Kiến trúc Clean</h2><p style="text-align:justify;">Kiến trúc Clean được giới thiệu bởi Uncle Bob vào năm 2012, dựa trên nguyên lý và thừa hưởng các đặc tính của kiến trúc Onion. Điểm khác biệt là kiến trúc này lấy Entities (các đối tượng nghiệp vụ) làm trung tâm.</p><figure class="image"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-ddf3HUlqvDtDKQ9V9OIRe0gUVlbphOCyCuX7NF5U.png"></figure><h6 style="text-align:justify;"><strong>Nguồn</strong>: <i>The Clean Code Blog by Robert C. Martin</i></h6><p style="text-align:justify;">Các lớp trong kiến trúc clean sẽ được phân tách dựa trên các vai trò cụ thể:</p><ul><li style="text-align:justify;">Các entities sẽ là nơi chứa các logic nghiệp vụ chính (enterprise wide business), có thể là các đối tượng cùng phương thức, hành vi của nó, hoặc là tập hợp các cấu trúc dữ liệu (danh sách, node..) và các hàm. Các entities có thể được sử dụng ở nhiều nơi khác trong ứng dụng hoặc xuyên suốt quá trình xử lý nghiệp vụ. Các entities sẽ chỉ ràng buộc với chính nó.</li><li style="text-align:justify;">Bên ngoài sẽ là lớp chứa nghiệp vụ của ứng dụng - use cases (application specific business). Các thành phần trong lớp này sẽ chứa những cài đặt cho việc ứng dụng đó làm những gì (use cases). Những thay đổi ở lớp này sẽ không được tác động tới các entities, cũng như chính nó cũng sẽ không bị tác động bởi sự thay đổi của các thành phần khác (database, UI, thư viện...).</li><li style="text-align:justify;">Bao bọc các lớp nghiệp vụ sẽ là lớp thứ ba, chứa các interface adapters, dùng để khai báo interface chuyển đổi dữ liệu và thông tin được yêu câu giữa các lớp nghiệp vụ và các dịch bên ngoài, như là cơ sở dữ liệu, các frameworkss hay là API bên thứ ba.</li><li style="text-align:justify;">Lớp ngoài cùng sẽ chứa các frameworks và drivers, là các cái đặt cụ thể cho các interface adapters. Đây được xem là nơi chứa mọi chi tiết mà ở các lớp khác khai báo thông qua interfaces. Các frameworks và tools như là cơ sở dữ liệu, web framework, các thư viện bên thứ ba...</li></ul><p style="text-align:justify;">Kiến trúc Clean vẫn đi theo nguyên lý của Onion: ràng buộc giữa các lớp nên là từ cấp thấp hơn sẽ phụ thuộc vào lớp cấp cao hơn thông qua các interfaces, có thể sử dụng Dependency Injection. Như vậy các logic xử lý chính sẽ không bị phụ thuộc vào các thay đổi đến từ lớp bên ngoài (frameworks and drivers). Ngoài ra, số lượng các lớp ở kiến trúc này cũng không cố định. Nó tùy thuộc vào ứng dụng cụ thể phức tạp ra sao, các yêu cầu nghiệp vụ như thế nào...</p><p style="text-align:justify;">Từ đó, ta có thể thấy một số ưu nhược điểm của kiến trúc này:</p><ul><li style="text-align:justify;">Ưu điểm:<ul><li style="text-align:justify;">Có thể sử dụng với mô hình microservices hay mẫu DDD</li><li style="text-align:justify;">Các lớp độc lập với nhau, các logic nghiệp vụ không bị phụ thuộc vào các lớp khác</li><li style="text-align:justify;">Dễ kiểm thử</li><li style="text-align:justify;">Dễ mở rộng, vì các lớp đã có vai trò riêng của nó</li></ul></li><li style="text-align:justify;">Nhược điểm:<ul><li style="text-align:justify;">Khó để học và hiểu các nghiệp vụ đã được chia tách thành các lớp</li><li style="text-align:justify;">Cấu trúc phức tạp vì cần phải triển khai qua nhiều lớp</li><li style="text-align:justify;">Do các lớp không phụ thuộc nhau nên sẽ khá trừu tượng</li></ul></li></ul><h2 style="text-align:justify;">4. Vậy kiến trúc Onion và Clean có giống nhau?</h2><p style="text-align:justify;">Tuy kiến trúc Clean ra đời có nhiều ảnh hưởng từ Onion, giữa 2 kiến trúc vẫn có những điểm giống và khác nhau.</p><p style="text-align:justify;">Cả hai kiến trúc đều hướng tới việc chia ứng dụng thành nhiều lớp xử lý với các vai trò khác nhau, giúp cho việc xây dựng và triển khai dự án dễ dàng hơn. Cả hai kiến trúc đều áp dụng nguyên lý Dependency Inversion giữa các lớp, giúp cho sự ràng buộc giữa các lớp giảm bớt, các lớp cấp thấp hơn sẽ phụ thuộc lớp cấp cao hơn thông qua abstractions chứ không phải là trực tiếp. Ngoài ra các ứng dụng xây dựng trên 2 kiến trúc này sẽ có khả năng mở rộng cao và có thể được kiểm thử độc lập cho từng lớp.</p><p style="text-align:justify;">Những điiểm khác nhau giữa hai kiến trúc:</p><ul><li style="text-align:justify;">Kiến trúc Onion<ul><li style="text-align:justify;">Tập trung vào xử lý nghiệp vụ và đưa nó vào trung tâm</li><li style="text-align:justify;">Các lớp được chia theo vai trò chung (domain, repositories, services..), chủ yếu để phục vụ cho lớp domain trung tâm</li><li style="text-align:justify;">Các xử lý liên quan đến kỹ thuật, công nghệ được đưa các xử lý ra các lớp bên ngoài</li></ul></li><li style="text-align:justify;">Kiến trúc Clean:<ul><li style="text-align:justify;">Chia việc xử lý nghiệp vụ thành 2 lớp: enitities (enterprise wide business) và use cases (application specific business)</li><li style="text-align:justify;">Các lớp được chia theo vai trò cụ thể (entities, interface adapters, frameworks and drivers..)</li><li style="text-align:justify;">Sử dụng dependency inversion để phân tách các xử lý rồi mới đưa ra bên ngoài</li></ul></li></ul><h2 style="text-align:justify;">5. Vậy ta nên sử dụng kiến trúc nào?</h2><p style="text-align:justify;">Các ứng dụng khác nhau sẽ có khối nghiệp vụ và độ phức tạp khác nhau. Cho nên, tùy vào mỗi ứng dụng và các yêu cầu chức năng của nó mà ta sẽ chọn kiến trúc cho phù hợp.</p><p style="text-align:justify;">Một số gợi ý khi chọn kiến trúc Onion:</p><ul><li style="text-align:justify;">Thường dành cho mô hình nghiệp vụ của ứng dụng tương đối phức tạp, yêu cầu khá nhiều về tính nhất quán cũng như nhiều tính toán chặt chẽ.</li><li style="text-align:justify;">Các công nghệ, thư viện sử dụng ở các lớp services có thể linh động</li></ul><p style="text-align:justify;">Chúng ta sẽ cân nhắc chọn kiến trúc Clean khi:</p><ul><li style="text-align:justify;">Mô hình nghiệp vụ không quá phức tạp, có thể chứa trong các đối tượng truyền dữ liệu cùng các hành vi và phương thức</li><li style="text-align:justify;">Các công nghệ, thư viên sử dụng ở các lớp services có tính phổ biến, cung cấp nhiều tính năng cho hệ thống</li></ul><h2 style="text-align:justify;">6. Kết luận</h2><p style="text-align:justify;">Onion và Clean đều là những kiến trúc rất hay, hướng ứng dụng tới việc xử lý những khía cạnh của nghiệp vụ, đưa các thư viện, dịch vụ khác ra các lớp bên ngoài. Những ứng dụng này sẽ có khả năng linh động cao, mở rộng tốt, và có tính bảo trì. Có thể nói, 2 kiến trúc này có thể sử dụng để xây dựng bất kỳ loại ứng dụng nào. Và các lập trình viên sẽ cần phải lựa chọn loại kiến trúc phù hợp với nhu cầu, sự phát triển của dự án, ứng dụng.</p><p style="text-align:justify;">Tài liệu tham khảo</p><ol><li style="text-align:justify;"><a href="https://www.oreilly.com/library/view/software-architecture-patterns/9781491971437/?_gl=1*7a1tjd*_ga*NzE5NTM3ODY4LjE2NzkzODcyOTk.*_ga_092EL089CH*MTY3OTYzMDAzNy42LjEuMTY3OTYzMDA1NS40Mi4wLjA."><u>Software Architecture Patterns by Mark Richards</u></a></li><li style="text-align:justify;"><a href="https://www.oreilly.com/library/view/clean-architecture-a/9780134494272/"><u>Clean Architecture: A Craftsman’s Guide to Software Structure and Design</u></a></li><li style="text-align:justify;"><a href="https://blog.cleancoder.com/uncle-bob/2012/08/13/the-clean-architecture.html"><u>The Clean code blog - Clean Architecture (Uncle Bob)</u></a></li><li style="text-align:justify;"><a href="https://jeffreypalermo.com/2008/07/the-onion-architecture-part-1/"><u>The Onion Architecture - Jeffrey Palermo</u></a></li></ol></body></html>

Mô hình kiến trúc N-layer đã khá phổ biến trong phát triển phần mềm, nhưng nó vẫn có khá nhiều điểm yếu. Từ đó, nhiều kiến trúc khác đã ra đời để giúp việc phát triển được tốt hơn. Trong bài viết này, chúng ta sẽ tìm hiểu 2 mô hình được sử dụng rộng rãi là Onion và Clean.

&lt;html&gt;&lt;body&gt;&lt;h2&gt;1. Design Patterns l&agrave; g&igrave; nhỉ?&nbsp;&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Tổng quan th&igrave; Design Patterns như một c&ocirc;ng thức để ta c&oacute; thể &aacute;p dụng v&agrave;o giải quyết một số vấn đề cụ thể trong lập tr&igrave;nh, cụ thể l&agrave; Lập tr&igrave;nh hướng đối tượng (OOP). N&oacute; l&agrave; những giải ph&aacute;p đ&atilde; được đ&uacute;c kết v&agrave; tối ưu h&oacute;a cho c&aacute;c trường hợp cụ thể. Thay v&igrave; phải t&igrave;m c&aacute;ch tối ưu h&oacute;a, tổ chức code lại từ đầu, th&igrave; bạn đơn giản c&oacute; thể &aacute;p dụng c&aacute;c Design Patterns ph&ugrave; hợp v&agrave; đ&atilde; được tối ưu cho trường hợp bạn gặp phải. Từ định nghĩa đ&oacute; ta c&oacute; thể thấy được một số t&igrave;nh huống m&agrave; Design Patterns c&oacute; thể ph&aacute;t huy sức mạnh tối đa của n&oacute;:&lt;/p&gt;&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Bạn gặp một t&igrave;nh huống phức tạp khi lập tr&igrave;nh. Đừng lo, khả năng cao đ&atilde; c&oacute; một (hoặc c&oacute; thể l&agrave; một v&agrave;i) Design Patterns c&oacute; thể giải quyết vấn đề của bạn thật đơn giản v&agrave; gọn g&agrave;ng. Chỉ cần &aacute;p dụng theo l&agrave; xong.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Bạn trao đổi với c&aacute;c developer kh&aacute;c trong team về c&aacute;ch tổ chức source code của một hệ thống kh&aacute; lớn v&agrave; phức tạp. Bạn (v&agrave; team của bạn) cảm thấy kh&oacute; khăn khi tr&igrave;nh b&agrave;y &yacute; tưởng của m&igrave;nh. H&atilde;y sử dụng Design Patterns như một ng&ocirc;n ngữ chung để n&oacute;i về những &yacute; tưởng phức tạp một c&aacute;ch đơn giản. (Giả sử thay v&igrave; n&oacute;i rằng &ldquo;Ta c&oacute; thể tạo một Abstract Class để tập trung c&aacute;c xử l&yacute; tạo c&aacute;c Instance của class Hotel để dễ d&agrave;ng che giấu việc khai b&aacute;o c&aacute;c Instance con li&ecirc;n quan đến Hotel đồng thời c&oacute; thể dễ d&agrave;ng tạo nhiều Instance của Hotel mootj c&aacute;ch dễ d&agrave;ng v&agrave; tường minh&rdquo; th&igrave; ta c&oacute; thể n&oacute;i l&agrave; &ldquo;Ta c&oacute; thể &aacute;p dụng Abstract Factory Design Patterns cho class Hotel&rdquo; thế th&ocirc;i!)&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;2. Những điểm mạnh của Design Patterns&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Việc nắm bắt v&agrave; &aacute;p dụng Design Patterns v&agrave;o trong c&ocirc;ng việc của một Developer thực sự sẽ gi&uacute;p ta c&oacute; một bước ph&aacute;t triển ho&agrave;n to&agrave;n mới về cả tư duy lẫn kỹ năng lập tr&igrave;nh. Bạn c&oacute; thể thấy r&otilde; điều đ&oacute; qua những điểm mạnh của n&oacute; sau đ&acirc;y:&nbsp;&lt;/p&gt;&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Gi&uacute;p bạn tăng tốc độ ph&aacute;t triển c&aacute;c ứng dụng.&nbsp;&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Cải thiện code structure, dễ d&agrave;ng n&acirc;ng cấp v&agrave; sửa đổi.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Tăng khả năng code reusability.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Tăng t&iacute;nh readable đối với những cấu tr&uacute;c code phức tạp. Tăng khả năng communicate giữa c&aacute;c th&agrave;nh vi&ecirc;n trong team (Nếu mọi người đều biết về Design Patterns)&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Do c&aacute;c Design Patterns đ&atilde; được tối ưu n&ecirc;n ta cũng c&oacute; thể tr&aacute;nh được những lỗi kh&ocirc;ng mong muốn ph&aacute;t sinh trong qu&aacute; tr&igrave;nh Implementation.&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;3. Những hạn chế của Design Patterns&lt;/h2&gt;&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Design Patterns kh&ocirc;ng phải l&agrave; ch&igrave;a kh&oacute;a vạn năng, n&oacute; chỉ c&oacute; thể giải quyết được một số những vấn đề nhất định. Nếu ta sử &aacute;p dụng Design Patterns v&agrave;o những trường hợp kh&ocirc;ng ph&ugrave; hợp c&oacute; thể l&agrave;m code trở n&ecirc;n rối v&agrave; phức tạp hơn.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Design Patterns chỉ l&agrave;m cho code dễ đọc dễ hiểu với những người c&oacute; kinh nghiệm về Design Patterns đang được &aacute;p dụng. Tuy nhi&ecirc;n đối với những người mới c&oacute; thể sẽ gặp kh&oacute; khăn trong việc nắm bắt cấu tr&uacute;c v&agrave; kh&oacute; khăn trong việc debug.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Bản th&acirc;n từng Design Patterns cũng c&oacute; những khuyết điểm của ri&ecirc;ng n&oacute; (ta sẽ khảo s&aacute;t cụ thể khi đi v&agrave;o chi tiết từng Pattern). N&ecirc;n khi &aacute;p dụng Design Patterns n&agrave;o ta lu&ocirc;n phải c&acirc;n nhắc kỹ lưỡng những lợi &iacute;ch v&agrave; khuyết điểm của n&oacute; để đưa ra quyết định c&oacute; n&ecirc;n sử dụng hay kh&ocirc;ng.&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;4. Ph&acirc;n loại c&aacute;c Design Patterns:&lt;/h2&gt;&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Nh&oacute;m Creational: Nh&oacute;m Creational l&agrave; nh&oacute;m những Design Patterns tập trung c&aacute;c giải ph&aacute;p khởi tạo đối tượng v&agrave; che giấu logic khởi tạo những đối tượng:&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;&lt;i&gt;Nh&oacute;m Creational bao gồm: Factory Method,&nbsp;Abstract Factory, Builder, Prototype, Singleton&lt;/i&gt;&lt;/li&gt;&lt;/ul&gt;&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Nh&oacute;m Structural: Nh&oacute;m Structural l&agrave; nh&oacute;m những Design Patterns tập trung v&agrave;o việc tối ưu c&aacute;c thiết kế của class v&agrave; sự kết hợp c&aacute;c class v&agrave; object trở lại một cấu tr&uacute;c lớn hơn.&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;&lt;i&gt;Nh&oacute;m Structural bao&nbsp;gồm:&nbsp;Adapter, Bridge, Composite, Decorator, Facade, Flyweight v&agrave;&nbsp;Proxy&lt;/i&gt;&lt;/li&gt;&lt;/ul&gt;&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Nh&oacute;m Behavioral: Nh&oacute;m Behaviour l&agrave; nh&oacute;m những Design Patterns tập trung sự ph&acirc;n chia tr&aacute;ch nhiệm của c&aacute;c class v&agrave; object để phục vụ một mục đ&iacute;ch cụ thể. Nh&oacute;m n&agrave;y tập trung nhiều hơn v&agrave;o mối quan hệ giữa c&aacute;c class v&agrave; object với nhau.&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;&lt;i&gt;Nh&oacute;m Behavioral bao gồm:&nbsp;Interpreter, Template Method, Chain of Responsibility, Command, Iterator, Mediator, Memento, Observer, State, Strategy v&agrave; Visitor&lt;/i&gt;&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;5. Cần chuẩn bị những g&igrave; trước khi t&igrave;m hiểu về Design Patterns?&lt;/h2&gt;&lt;ul&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;OOP: Tất nhi&ecirc;n rồi, bạn phải nắm t&iacute;nh vũng tư duy lập tr&igrave;nh theo hướng đối tượng đ&atilde;. C&aacute;c Design Patterns đơn giản l&agrave; gi&uacute;p bạn triển khai c&aacute;c t&iacute;nh chất của OOP dễ d&agrave;ng v&agrave; linh hoạt hơn m&agrave; th&ocirc;i.&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;C&aacute;ch đọc sơ đồ UML:&nbsp; C&aacute;c Design Pattern thường được thể hiện dưới dạng UML diagram, việc đọc hiểu một số concept UML cơ bản l&agrave; cần thiết để bắt đầu học Design Patterns&nbsp;&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;C&aacute;c bạn c&oacute; thể tham khảo tại đ&acirc;y:&nbsp;&lt;a href=&quot;https://www.guru99.com/uml-diagrams.html&quot;&gt;&lt;i&gt;&lt;u&gt;https://www.guru99.com/uml-diagrams.html&lt;/u&gt;&lt;/i&gt;&lt;/a&gt;&lt;/li&gt;&lt;li style=&quot;text-align:justify;&quot;&gt;Dưới đ&acirc;y l&agrave; 1 số concept UML cơ bản m&igrave;nh sẽ sử dụng trong loạt b&agrave;i viết n&agrave;y:&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-Cn1yI9X33XdJ5N3xgCYsyzvq0ix1YjSsqI6bTqLf.png&quot; alt=&quot;A picture containing diagram
        Description automatically generated&quot;&gt;&lt;/p&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-CpD296nUoYXW0lMySCd5csSytIINBYEQV7eQ1CdD.png&quot; alt=&quot;Diagram
        Description automatically generated&quot;&gt;&lt;/p&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;Ngo&agrave;i ra hiểu được 2 quy tắc thiết kế &ldquo;&lt;i&gt;program to interfaces, not implementations&rdquo;&nbsp;&lt;/i&gt;v&agrave; &ldquo;&lt;i&gt;favor composition over inheritance&rdquo;&nbsp;&lt;/i&gt;cũng kh&aacute; quan trọng. Hầu hết c&aacute;c Design Patterns đề được thiết kế dựa tr&ecirc;n 2 quy tắc n&agrave;y.&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;6. Lời Kết&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;T&oacute;m lại th&igrave;: Design Patterns l&agrave; những mẫu thiết kế để giải quyết những vấn đề phổ biến hay gặp phải trong lập tr&igrave;nh, đ&atilde; được chấp nhận v&agrave; sử dụng rộng r&atilde;i của nhiều lập tr&igrave;nh vi&ecirc;n c&oacute; kinh nghiệm.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&Aacute;p dụng Design Patterns gi&uacute;p bạn cải thiện đ&aacute;ng kể tốc độ ph&aacute;t triển ứng dụng v&agrave; dễ d&agrave;ng hơn trong việc bảo tr&igrave;, sửa chữa.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Tuy nhi&ecirc;n, bạn cũng cần phải c&acirc;n nhắc kỹ lưỡng t&iacute;nh chất của b&agrave;i to&aacute;n cần giải quyết, quy m&ocirc; dự &aacute;n đang triển khai cũng như những th&agrave;nh vi&ecirc;n trong team của bạn trước khi cố gắng &aacute;p dụng bất k&igrave; Design Patterns n&agrave;o v&agrave;o code của dự &aacute;n.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Cuối c&ugrave;ng, Design Patterns sinh ra nhằm mục đ&iacute;ch đơn giản h&oacute;a qu&aacute; tr&igrave;nh ph&aacute;t triển ứng dụng, chứ kh&ocirc;ng phải l&agrave;m cho n&oacute; phức tạp l&ecirc;n. Nhớ điều n&agrave;y nh&eacute;!&lt;/p&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;p&gt;&lt;strong&gt;References:&nbsp;&lt;/strong&gt;&lt;/p&gt;&lt;p&gt;&lt;a href=&quot;https://refactoring.guru/design-patterns&quot;&gt;&lt;u&gt;Design Patterns&lt;/u&gt;&lt;/a&gt;&lt;/p&gt;&lt;p&gt;&lt;a href=&quot;https://www.digitalocean.com/community/tutorials/gangs-of-four-gof-design-patterns&quot;&gt;&lt;u&gt;Gangs of Four (GoF) Design Patterns | DigitalOcean&lt;/u&gt;&lt;/a&gt;&lt;/p&gt;&lt;p&gt;Books:&nbsp;&lt;a href=&quot;https://books.google.com.vn/books/about/Head_First_Design_Patterns.html?id=GGpXN9SMELMC&amp;amp;redir_esc=y&quot;&gt;&lt;u&gt;Head First Design Patterns&lt;/u&gt;&lt;/a&gt;&lt;/p&gt;&lt;/body&gt;&lt;/html&gt;

Design Patterns là một trong những công cụ hữu hiệu nhất để giải quyết các bài toán bạn gặp phải trong khi lập trình. Trong bài viết này mình sẽ chia sẻ cho các bạn khái niệm tổng quan về Design Patterns. Ở những bài viết sau ta sẽ đi sâu vào từng Design Patterns để có thể hiểu sâu hơn về nó.

Giới thiệu tổng quan về Design Patterns

So sánh Onion Architecture và Clean Architecture

Bài viết này mình tập trung chủ yếu vào các nguyên lý của SOLID.  Nhằm hướng dẫn cho anh em lập trình viên nhà mình có một cái nhìn tổng quan về SOLID chẳng hạn như: SOLID là gì? Lợi hại của SOLID? Hy vọng có thể support được mọi người có thêm kiến thức về các nguyên lý thiết kế code.

[Design Pattern] Bài 01: SOLID Trong Thiết Kế Hướng Đối Tượng

Bài viết nằm trong chuỗi bài về design pattern. Mở đầu của serie này là một design pattern khá quen thuộc và thân thương đó chính là Singleton. Vậy Singleton là gì, làm sao để implement một Singleton...
Qua bài viết hy vọng có thể support được mọi người có thêm kiến thức về Singleton.
OK Let’s Go.

[Design Pattern] Bài 03: Sử Dụng Singleton Trong Java

Bài viết nằm trong chuỗi bài về design pattern. Là phần tiếp theo của series design pattern, Factory một design pattern cực kỳ hữu dụng trong việc tạo ra object. Vậy Factory là gì, làm sao để implement một Factory. Qua bài viết hy vọng có thể support được mọi người có thêm kiến thức về Factory.

[Design Pattern] Bài 04: Sử Dụng Factory Trong Java

Bài viết nằm trong chuỗi bài về design pattern. Là phần tiếp theo của Creational pattern, Builder một design pattern cực kỳ hữu dụng trong việc tạo ra object. Vậy Builder là gì, làm sao để implement một Builder. Qua bài viết hy vọng có thể support được mọi người có thêm kiến thức về Builder.

[Design Pattern] Bài 05: Sử Dụng Builder Trong Java

&lt;html&gt;&lt;body&gt;&lt;h2&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;1. Prototype Design Pattern L&agrave; G&igrave;&lt;/strong&gt;&lt;/span&gt;&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Để đi v&agrave;o chi tiết c&aacute;c thức hoạt động cũng như t&iacute;nh chất của&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; pattern m&igrave;nh xin ph&eacute;p lấy một v&iacute; dụ về việc tạo ra c&aacute;c loại thẻ ng&acirc;n h&agrave;ng.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;X&atilde; hội ng&agrave;y c&agrave;ng ph&aacute;t triển v&agrave; việc kh&ocirc;ng d&ugrave;ng tiền mặt ở c&aacute;c đ&ocirc; thị lớn đang l&agrave; xu thế. Gần như mọi người đều c&oacute; ri&ecirc;ng cho m&igrave;nh &iacute;t nhất một t&agrave;i khoản ng&acirc;n h&agrave;ng. B&ecirc;n cạnh đ&oacute; c&aacute;c c&ocirc;ng việc giao dịch về tiền tệ đều được thực hiện dễ d&agrave;ng th&ocirc;ng qua thẻ ATM.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;C&oacute; rất nhiều loại thẻ ATM như Master, Visa&hellip;B&ecirc;n cạnh đ&oacute;, mỗi ng&acirc;n h&agrave;ng c&ograve;n ph&aacute;t h&agrave;nh h&agrave;ng loạt c&aacute;c loại thẻ kh&aacute;c nhau cho từng nh&oacute;m kh&aacute;ch h&agrave;ng như thẻ VIP, thẻ CashBack... Về mặt physical th&igrave; c&aacute;c thẻ ATM n&agrave;y c&ugrave;ng chất liệu, c&ugrave;ng k&iacute;ch thước, c&ugrave;ng h&igrave;nh dạng v&agrave; chứa nhiều th&ocirc;ng tin chung, dĩ nhi&ecirc;n mỗi loại thẻ vẫn c&oacute; nhiều th&ocirc;ng tin kh&aacute;c biệt như m&agrave;u sắc, background số CVV&hellip;v&acirc;ng v&acirc;ng v&agrave; m&acirc;y m&acirc;y.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Một topic nho nhỏ cho anh em dev l&agrave; l&agrave;m thế n&agrave;o c&oacute; thể tạo ra được những loại thẻ ATM một c&aacute;ch tiện lợi m&agrave; kh&ocirc;ng mất qu&aacute; nhiều effort. C&oacute; rất nhiều giải ph&aacute;p, một trong những giải ph&aacute;p m&igrave;nh c&oacute; thể consider đ&oacute; l&agrave;&nbsp;&lt;strong&gt;Builder&lt;/strong&gt; pattern. Tuy nhi&ecirc;n, với việc tạo ra một object c&oacute; nhiều tham số v&agrave; logic phức tạp (parameters) th&igrave; c&oacute; vẻ&nbsp;&lt;strong&gt;Builder&lt;/strong&gt; kh&ocirc;ng phải l&agrave; sự lựa chọn hợp l&yacute;. Với m&igrave;nh, c&aacute;i g&igrave; l&agrave;m nhiều th&igrave; m&igrave;nh chọn giải ph&aacute;p l&agrave; sao ch&eacute;p thay v&igrave; m&igrave;nh phải l&agrave;m bằng &ldquo;cơm&rdquo;.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Do đ&oacute;,&nbsp; m&igrave;nh tận dụng một trong những skill-set đỉnh ch&oacute;p của anh em lập tr&igrave;nh đ&oacute; l&agrave; copy-paste v&agrave;&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; sẽ gi&uacute;p m&igrave;nh ph&aacute;t huy tối đa c&ocirc;ng dụng của việc tạo object bằng việc&nbsp;&lt;strong&gt;clone&lt;/strong&gt; từ một mẫu c&oacute; sẵn. V&agrave; sau đ&oacute; m&igrave;nh c&oacute; thể modify theo c&aacute;ch m&igrave;nh mong muốn dựa tr&ecirc;n từng context cụ thể.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Đến đ&acirc;y, m&igrave;nh tin anh em cũng đ&atilde; hiểu mục đ&iacute;ch sử dụng của pattern n&agrave;y rồi. Tiếp theo m&igrave;nh sẽ giới thiệu với anh em về c&aacute;ch thiết kế cũng như c&aacute;ch để implement pattern n&agrave;y.&nbsp;&nbsp;&lt;br&gt;Đầu ti&ecirc;n m&igrave;nh c&ugrave;ng nhau tham khảo qua class diagram của&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; để c&oacute; c&aacute;i nh&igrave;n tổng quan về em n&oacute;.&lt;/p&gt;&lt;h2&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;2. Prototype Design Pattern Diagram&lt;/strong&gt;&lt;/span&gt;&lt;/h2&gt;&lt;figure class=&quot;image&quot;&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/prototype-design-pattern-1-3UWckMfOTe6LSnFefvA7g8cug7j5agBbvYU2xZAl.webp&quot;&gt;&lt;/figure&gt;&lt;p&gt;Trong lược đồ ph&iacute;a tr&ecirc;n, th&agrave;nh phần ch&iacute;nh l&agrave; ba class:&nbsp;&lt;strong&gt;Client, Prototype v&agrave; SubPrototype&lt;/strong&gt;&lt;/p&gt;&lt;p&gt;&lt;strong&gt;Class Client&lt;/strong&gt;: Đại diện cho class sử dụng&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; object để clone ra c&aacute;c SubPrototype&lt;/p&gt;&lt;p&gt;&lt;strong&gt;Class Prototype&lt;/strong&gt;: Interface/Abstract class chứa abstract clone() method&lt;/p&gt;&lt;p&gt;&lt;strong&gt;Class Sub-Prototype&lt;/strong&gt;: Đại diện cho c&aacute;c class con m&agrave; ch&uacute;ng m&igrave;nh sẽ implement clone() ở c&aacute;c sub-class n&agrave;y.&lt;/p&gt;&lt;h2&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;3. Prototype Pattern Implementation&lt;/strong&gt;&lt;/span&gt;&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Anh em m&igrave;nh đ&atilde; xem qua class diagram. Giờ m&igrave;nh c&ugrave;ng&nbsp; nhau đi chi tiết về c&aacute;ch implement pattern n&agrave;y th&ocirc;ng qua b&agrave;i to&aacute;n tạo ra c&aacute;c loại bank card.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Context l&agrave; m&igrave;nh sẽ sử dụng class&nbsp;&lt;strong&gt;BankCard&lt;/strong&gt; để tạo ra c&aacute;c loại card như&nbsp;&lt;strong&gt;PlatinumCard&lt;/strong&gt; v&agrave;&nbsp;&lt;strong&gt;DiamondCard&lt;/strong&gt; hai loại thẻ d&agrave;nh cho hai tập kh&aacute;ch h&agrave;ng của một ng&acirc;n h&agrave;ng, bằng c&aacute;ch sử dụng&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; pattern.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Đầu ti&ecirc;n m&igrave;nh tạo ra một class&nbsp;&lt;strong&gt;BankCard&lt;/strong&gt;, class n&agrave;y đại diện cho c&aacute;c loại&nbsp;&lt;strong&gt;BankCard&lt;/strong&gt; (Visa, Master&hellip;). Class n&agrave;y chứa c&aacute;c thuộc t&iacute;nh th&ocirc;ng dụng như: CardNumber, HolderName, CardType&hellip; Tuy nhi&ecirc;n, giả thuyết l&agrave; để tạo ra một object của&nbsp;&lt;strong&gt;BankCard&lt;/strong&gt; th&ocirc;ng qua constructor() th&igrave; cần điền th&ocirc;ng tin cho rất nhiều field, việc n&agrave;y l&agrave;m tăng effort một c&aacute;ch đ&aacute;ng kể cho cả lập tr&igrave;nh vi&ecirc;n v&agrave; hệ thống. Do đ&oacute; m&igrave;nh sẽ thay thế bằng phương ph&aacute;p sử dụng cơ chế clone của&nbsp;Cloneable interface.&lt;/p&gt;&lt;p&gt;Chi tiết của class&nbsp;&lt;strong&gt;BankCard&lt;/strong&gt; như sau:&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt; public class BankCard implements Cloneable{

    public String cardNumber;
    public String holderName;
    public String cardType;
    public BigDecimal amount;

    public BankCard(String cardType){
        this.cardType = cardType;
    }

    @Override
    protected BankCard clone() {
        try {
            return (BankCard) super.clone();
        } catch (CloneNotSupportedException e) {
            e.printStackTrace();
        }
        return null;
    }

    @Override
    public String toString() {
        return &quot;BankCard [cardNumber=&quot; + cardNumber + &quot;,
 holderName=&quot; + holderName + &quot;,
 cardType=&quot;+ cardType + &quot;, amount=&quot;+amount+&quot; ]&quot;;
    }

// Getters and Setters
}

&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Theo như class diagram, m&igrave;nh cần tạo ra class&nbsp;CardClient,&nbsp;class n&agrave;y sẽ&nbsp;sử dụng&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt;&nbsp;để tạo ra nhiều loại thẻ cho c&ugrave;ng một customer bằng c&aacute;ch sử dụng&nbsp;clone() method của class&nbsp;BankCard.&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt; public class CardClient{

    public static void main(String[] args){
        BankCard platinumCard = new BankCard(&quot;master&quot;);
        platinumCard.setHolderName(&quot;Tom&quot;);
        platinumCard.setCardNumber(&quot;1234&quot;);

        BankCard diamondCard = masterCard.clone();
        diamondCard.setCardType(&quot;visa&quot;);

        System.out.println(platinumCard);
        System.out.println(diamondCard);
    }
}
&lt;/code&gt;&lt;/pre&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Implementation của Prototype cũng rất đơn giản, kh&ocirc;ng qu&aacute; cầu k&igrave;, phức tạp. Đến đ&acirc;y, m&igrave;nh nghĩ sẽ c&oacute; một v&agrave;i question được đặt ra như sau.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;C&acirc;u hỏi đầu ti&ecirc;n, đ&oacute; l&agrave; nếu m&igrave;nh update một attribute n&agrave;o đ&oacute; của&nbsp;&lt;strong&gt;platinumCard&lt;/strong&gt; th&igrave; attribute tương ứng của&nbsp;&lt;strong&gt;diamondCard&lt;/strong&gt; c&oacute; bị thay đổi gi&aacute; trị hay kh&ocirc;ng? Bởi v&igrave;&nbsp;&lt;strong&gt;diamondCard&lt;/strong&gt; được tạo ra bằng c&aacute;ch&nbsp;copy th&ocirc;ng tin từ&nbsp;&lt;strong&gt;platinumCard.&lt;/strong&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Good question. Dĩ nhi&ecirc;n c&acirc;u trả lời trong trường hợp n&agrave;y l&agrave; &ldquo;&lt;strong&gt;Kh&ocirc;ng&lt;/strong&gt;&rdquo; v&igrave; bản chất của h&agrave;m clone() l&agrave; deep copy, n&ecirc;n việc modify một newly object sẽ kh&ocirc;ng l&agrave;m ảnh hưởng đến original object.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;C&acirc;u hỏi số hai, điểm kh&aacute;c nhau trong việc sử dụng phương thức clone() v&agrave; to&aacute;n tử dấu&nbsp;&ldquo;=&rdquo;.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;span style=&quot;color:hsl(0,75%,60%);&quot;&gt;&nbsp;BankCard diamondCard = platinumCard.clone() vs&nbsp;&nbsp;BankCard diamondCard = platinumCard;&lt;/span&gt;&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Khi ch&uacute;ng ta sử dụng to&aacute;n tử&nbsp; dấu&nbsp;&ldquo;=&rdquo; đều n&agrave;y c&oacute; nghĩa l&agrave; object&nbsp;&lt;strong&gt;diamondCard&lt;/strong&gt; tham chiếu đến object&nbsp;&lt;strong&gt;platinumCard&lt;/strong&gt;, nếu&nbsp;&lt;strong&gt;platinumCard&lt;/strong&gt; thay đổi th&ocirc;ng tin điều n&agrave;y dẫn đến&nbsp;&lt;strong&gt;diamondCard&lt;/strong&gt; cũng thay đổi th&ocirc;ng tin theo&nbsp;(shallow copy)&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;M&igrave;nh cũng sẽ c&oacute; một b&agrave;i viết về hai phương ph&aacute;p&nbsp;&lt;strong&gt;Deep-Copy&lt;/strong&gt; v&agrave;&nbsp;&lt;strong&gt;Shallow-Copy&lt;/strong&gt; để giải th&iacute;ch cụ thể sự kh&aacute;ch biệt của hai loại copy n&agrave;y với mọi người.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Đến đ&acirc;y th&igrave; anh em m&igrave;nh cũng đ&atilde; t&igrave;m hiểu về c&ocirc;ng năng cũng như implementation của&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt; rồi. M&igrave;nh cũng đ&atilde; apply pattern n&agrave;y cho nhiều dự &aacute;n n&ecirc;n tiếp theo, m&igrave;nh sẽ liệt k&ecirc; ra pros v&agrave; cons của pattern n&agrave;y dựa tr&ecirc;n kinh nghiệm thực chiến của m&igrave;nh.&lt;/p&gt;&lt;h2&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;4. The Pros and Cons of Prototype Design Pattern&lt;/strong&gt;&lt;/span&gt;&lt;/h2&gt;&lt;h3&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;The Pros of Prototype&lt;/strong&gt;&lt;/span&gt;&lt;/h3&gt;&lt;p&gt;Một trong những điểm mạnh nổi bật nhất của&nbsp;&lt;strong&gt;Prototype&nbsp;&lt;/strong&gt;m&agrave; bất kỳ lập tr&igrave;nh vi&ecirc;n n&agrave;o cũng c&oacute; thể nhận ra đ&oacute; ch&iacute;nh l&agrave; việc tạo ra c&aacute;c object mới dựa tr&ecirc;n một object đ&atilde; tồn tại sẵn một c&aacute;ch tiện lợi. Điều n&agrave;y gi&uacute;p giảm đi rất nhiều effort cho anh em coder cũng như đem lại performance xịn hơn cho hệ thống.&lt;/p&gt;&lt;p&gt;Prototype rất hữu &iacute;ch khi bạn muốn tạo ra c&aacute;c object c&oacute; logic phức tạp, b&ecirc;n cạnh đ&oacute; pattern n&agrave;y c&ograve;n gi&uacute;p m&igrave;nh hạn chế được việc phải tạo th&ecirc;m c&aacute;c class con kh&ocirc;ng cần thiết.&lt;/p&gt;&lt;p&gt;Trong qu&aacute; tr&igrave;nh l&agrave;m project thực tế m&igrave;nh đ&atilde; kết hợp Prototype v&agrave; Factory với nhau, để implement một t&iacute;nh năng kh&aacute; phức tạp đ&oacute; l&agrave; tạo ra c&aacute;c loại contract cho kh&aacute;ch h&agrave;ng trong c&aacute;c hệ thống finance khi kh&aacute;ch mua bảo hiểm, hoặc hợp đồng vay thế chấp, t&iacute;n chấp&hellip;Đồng thời, kết hợp với&nbsp;&lt;strong&gt;Map&lt;/strong&gt; collection để n&acirc;ng cao tối đa hiệu quả của&nbsp;&lt;strong&gt;Prototype&lt;/strong&gt;.&lt;/p&gt;&lt;pre&gt;&lt;code class=&quot;language-plaintext&quot;&gt; public class ContractFactory{

    public Map&amp;lt;String, Contract&amp;gt; contractMaps = new HashMap&amp;lt;&amp;gt;();

    public void extendContract(String customerId){
        Contract extended = null;
        if(contractMaps.containsKey(customerId)) {
            Contract original = contractMaps.get(customerId);
            extended = original.clone();
            extended.setRenewDate(new Date());
        }else {
            extended = new Contract();
        }
        contractMaps.put(customerId, extended);
    }
}
&lt;/code&gt;&lt;/pre&gt;&lt;h3&gt;&lt;strong&gt;The Cons of Prototype&lt;/strong&gt;&lt;/h3&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;&lt;strong&gt;Prototype&lt;/strong&gt; pattern ph&ugrave; hợp đối với việc tạo ra c&aacute;c object c&oacute; nhiều th&ocirc;ng tin chung. Tuy nhi&ecirc;n, cần phải xem x&eacute;t kỹ lưỡng trong trường hợp cần tạo ra object đặc biệt khi m&agrave; object mới c&oacute; qu&aacute; nhiều field cần phải update.&lt;/p&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Dĩ nhi&ecirc;n việc tạo ra c&aacute;c object mới bằng c&aacute;ch clone từ object hiện tại th&igrave; khả năng cao object mới sẽ chứa nhiều th&ocirc;ng tin dư thừa từ original object.&lt;/p&gt;&lt;h2&gt;&lt;span style=&quot;color:hsl(0,0%,0%);&quot;&gt;&lt;strong&gt;5. The Conclusion&lt;/strong&gt;&lt;/span&gt;&lt;/h2&gt;&lt;p style=&quot;text-align:justify;&quot;&gt;Prototype design pattern rất hiệu quả trong việc tạo ra object phức tạp. B&ecirc;n cạnh đ&oacute;, n&oacute; cũng thể hiện kha kh&aacute; điểm yếu. Tất cả m&igrave;nh đều đ&atilde; liệt k&ecirc; trong b&agrave;i viết. Dĩ nhi&ecirc;n, sẽ kh&ocirc;ng c&oacute; một giải ph&aacute;p n&agrave;o l&agrave; to&agrave;n diện. V&igrave; vậy, anh em n&ecirc;n xem x&eacute;t kỹ trước khi đưa ra quyết định l&agrave; n&ecirc;n d&ugrave;ng pattern n&agrave;o, để đạt được hiệu quả tối ưu nhất.&lt;/p&gt;&lt;/body&gt;&lt;/html&gt;

Creational Design Pattern là một nhóm pattern vô cùng hữu ích trong việc tạo ra một object. Việc tạo ra object phụ thuộc nhiều vào ngữ cảnh như: số lượng tham số truyền vào, điều kiện cơ sở…Là một trong những pattern phổ biến của nhóm Creational, Prototype pattern đem lại hiệu quả cao trong việc tạo ra một object phức tạp. Chúng mình cùng nhau tìm hiểu chi tiết về kỹ thuật thiết kế một Prototype pattern như thế nào  nhé

[Design Pattern] Bài 06: Sử Dụng Prototype Trong Java

Design Patterns

<html><body><h2>1. Microservices là gì?  <br> </h2><ul><li>Microservices là một kiến trúc phần mềm bao gồm nhiều services nhỏ (micro-service). Ý tưởng của microservices là chia bài toán lớn thành nhiều bài toán nhỏ.  <br> </li><li>Kiến trúc microservices khá phổ biến hiện nay và được nhiều công ty lớn sử dụng như: Netflix, eBay, Amazon, Twitter, PayPal,...  <br> </li><li>Mỗi service trong kiến trúc này là mỗi module độc lập giúp dễ dàng phát triển, kiểm thử, mở rộng và triển khai…  <br> </li></ul><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-Mewjv7fi3suPq2CCAtJF0o301ALiBtXDl6TkhQTk.png"></p><p> </p><p> </p><h2>2. Lợi ích của microservices?</h2><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-GUiY1ZOvBclZZJQsHuJmcENmljTDZcZcUs5aumJ2.png">  <br><br> </p><ul><li><strong>Linh động:</strong> các services được tổ chức thành các modules độc lập phân tán giúp dễ dàng phát triển, tích hợp và triển khai từng phần (CI/CD).  <br> </li><li><strong>Nhiều lựa chọn về công nghệ:</strong> có thể lựa chọn các kiến trúc, công nghệ, ngôn ngữ, cơ sở dữ liệu cho từng service.</li></ul><p>Ví dụ: có thể tận dụng nguồn lực thế mạnh của nhiều team để áp dụng công nghệ phù hợp cho mỗi service. Service này sử dụng .net, sql server, service khác sử dụng nodejs, mongodb, cosmosdb...</p><ul><li><strong>Khả năng chịu lỗi:</strong> Khi một hoặc một vài service xảy ra lỗi thì các services khác không hoặc ít bị ảnh hưởng. Đảm bảo toàn hệ thống vẫn vận hành được. Khi sửa lỗi chỉ sửa lỗi ở đúng service đó do các service được thiết kế độc lập, ít phụ thuộc vào nhau nhất có thể.  <br> </li><li><strong>Tối ưu hiệu quả về chi phí:</strong> tối ưu và chia nhỏ chi phí cho từng service nhỏ thay vì một ứng dụng lớn.   <br>Ví dụ: service cần lưu trữ dung lượng database, file.. thì ta sẽ scale trên riêng service đó, hoặc đôi lúc có thể tận dụng nhiều công nghệ miễn phí cho các service nhỏ.  <br><br> </li></ul><h2>3. So sánh monolithic và microservices  <br> </h2><ul><li><strong>Monolithic</strong>  <br><br><ul><li>Tập trung toàn bộ vào một ứng dụng lớn, dự án lớn thì team size và soure code sẽ phình to ra.  <br> </li><li>Việc triển khai (deployment) sẽ đơn giản do toàn bộ tập trung vào một dự án.  <br> </li><li>Kiến trúc truyền thống, dễ tiếp cận.  <br> </li><li>Quá trình deployment không linh hoạt, thời gian build ứng dụng sẽ lâu, khi có một thay đổi nhỏ cũng phải build lại toàn bộ ứng dụng.  <br> </li><li>Khó khăn trong việc kiểm tra lỗi và bảo trì do các modules, services trong dự án phụ thuộc chặt chẽ vào nhau (coupling code).  <br> </li><li>Gặp vấn đề về khả năng chịu lỗi. Khi bị bất kỳ một lỗi nào thì có khả năng toàn bộ ứng dụng bị chết.  <br> </li><li>Khả năng mở rộng hạn chế do tập trung một khối lớn.  <br> </li><li>Khó áp dụng nhiều công nghệ vào dự án.</li></ul></li></ul><p> </p><p><strong><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-q3M6Qc9vOBMnX5mcuzaZsL99ieLtelloX59KhL0a.png"></strong></p><p> </p><ul><li><strong>Microservices</strong>  <br><br><ul><li>Chia nhỏ ứng dụng thành các services nhỏ hơn. Ý tưởng của microservices là chia bài toán lớn thành các bài toán nhỏ.  <br> </li><li>Các services được xây dựng độc lập, có khả năng phát triển, kiểm lỗi và triển khai độc lập.  <br> </li><li>Các team làm việc độc lập trên từng services, từng features.  <br> </li><li> Áp dụng các công nghệ, ngôn ngữ khác nhau vào từng services.  <br> </li><li>Khả năng chịu lỗi tốt do các service độc lập, một service bị lỗi thì toàn hệ thống có khả năng vẫn hoạt động được và dễ dàng sửa lỗi đúng service đó.</li></ul></li></ul><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-vRHmvtjLk6G4z9cXcw4wF248JGhu7rkr6Aj4xlNs.png"></p><h2>4. Ưu và nhược điểm của microservices  <br> </h2><h3><strong>Ưu điểm</strong></h3><ul><li>Chia nhỏ hệ thống lớn thành các services nhỏ độc lập nên dễ dàng phát triển, bảo trì và triển khai độc lập.</li><li>Dễ dàng cho các thành viên mới khi tham gia vào dự án, chỉ cần học các service nhỏ.</li><li>Khả năng kiểm soát lỗi tốt, một hoặc vài services bị lỗi thị hệ thống không bị crash.</li><li>Có thể lựa chọn nhiều công nghệ khác nhau cho từng services.</li><li>Khả năng mở rộng linh hoạt, khi cần scale module, feature nào thì scale service tương ứng.</li></ul><h3><strong>Nhược điểm</strong></h3><ul><li>Kiến trúc phức tạp, đòi hỏi phải có kiến thức chuyên sâu về devops (CI/CD) để có thể triển khai các services nhỏ trong một hệ thống lớn</li><li>Khó để đồng bộ và thống nhất giữa các services (dữ liệu, mã nguồn, con người trong các team..), cần phải chú ý việc giao tiếp giữa các services sao cho hiệu quả.</li><li>Khó đảm bảo sự toàn vẹn và nhất quán dữ liệu giữa các services do mỗi service sử dụng một database riêng.  <br><br> </li></ul><h2>5. Các nguyên lý khi xây dựng service trong microservices </h2><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-J1NR21J9UiZ0pCvFU35ifBXiwbyrMrUAF1vylsYV.png"></p><ul><li>Một service chỉ nên xử lý một nhiệm vụ chính duy nhất.  <br> </li><li>Mỗi service phải độc lập, có khả năng đóng gói và triển khai độc lập. (CI/CD)  <br> </li><li>Có thể di chuyển các services từ môi trường này sang môi trường khác dễ dàng, thuận tiện cho việc tích hợp và triển khai.  <br> </li><li>Mỗi service nên có dữ liệu của riêng nó, không nên chứa dữ liệu của các service khác. Nếu các service muốn chia sẻ dữ liệu thì nên giao tiếp qua các public interface.  <br> </li><li>Khi một service bị lỗi thì không ảnh hưởng đến toàn hệ thống. Có thể dễ dàng hủy và tạo lại service theo yêu cầu.  <br><br> </li></ul><h2>6. Giới thiệu về series thực chiến xây dựng hệ thống microservices</h2><ul><li>Phần 1 chủ yếu lý thuyết tổng quan về kiến trúc microservices. Hiểu được khái niệm và tư tưởng.</li><li>Phần 2 sẽ giới thiệu cấu trúc dự án microservices. Đồng thời xây dựng 2 services đầu tiên là product (.net 6 + mySql) và customer (.net 6 Minimal API + PostgreSQL)</li></ul><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-qLj1llkf735WjoFuThx1oA7ZYt6xYxlMfY2ejItU.png"></p><ul><li>Phần 3 nội dung về Clean Architecture và CQRS pattern. Đồng thời xây dựng 3 service: basket service (.net 6 + redis), order service (.net 6 + sql server) và email service.</li></ul><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-aiMfOSPBsazfROOz1eOttNvaK4PaJCrcByXRxrjk.png"></p><ul><li>Phần 4 nội dung tập trung vào cách các micro service giao tiếp với nhau. Phần này mình sẽ giới thiệu về RabbitMQ và Kaffka. Tích hợp RabbitMQ vào hệ thống hiện tại cho quy trình đặt hàng - 2 services Basket và Order sẽ giao tiếp với nhau.</li></ul><p><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-NYxyyimZvdGmiBWMw58hKfsboBCN5aJV7omqOXOx.png"><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-wGUMGuu8WLpsYAJ1Lc0B3FL0dulfQ6X3nvWtd7S7.png"></p><ul><li>Phần 5 về API Gateway (Ocelot) trong microservices  <br><img src="https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-UMvqaAIhhxwHKr3oKiPVz5ajX8ck5lbhFolqhPEA.png"></li><li>Phần cuối là một số nội dung khác về micorservices như quản lý transaction giữa các services, xử lý logging cho các request giữa các service, health check và retry (polly),.…</li></ul><h2>7. Tổng kết  <br> </h2><ul><li>Vậy là chúng ta đã đi qua tổng quan về microservices và giới thiệu về nội dung tiếp theo trong series thực chiến xây dựng hệ thống microservices.</li><li>Cảm ơn mọi người đã xem bài viết. Chúc mọi người một cuối tuần vui vẻ.</li><li>Nếu có thắc mắc về các phần trong bài này mọi người có thể inbox qua mail: <a href="mailto:long.nguyendh@saigontechnology.com"><u>long.nguyendh@saigontechnology.com</u></a>. Mình sẽ giải đáp thắc mắc trong tầm hiểu biết. Cảm ơn mọi người.</li></ul><p> </p><p><strong>References</strong></p><ul><li><a href="https://learn.microsoft.com/en-us/azure/architecture/guide/architecture-styles/microservices"><u>Microservice architecture - Azure</u></a></li><li><a href="https://learn.microsoft.com/en-us/dotnet/architecture/microservices/architect-microservice-container-applications/microservices-architecture"><u>Microservices architecture | Microsoft Learn</u></a></li><li><a href="https://learn.microsoft.com/en-us/dotnet/architecture/microservices/architect-microservice-container-applications/direct-client-to-microservice-communication-versus-the-api-gateway-pattern"><u>The API gateway pattern versus the direct client-to-microservice communication | Microsoft Learn</u></a></li><li><a href="https://rabbitmq.com/"><u>https://rabbitmq.com/</u></a></li><li><u>https://kafka.apache.org/</u></li></ul></body></html>

Giới thiệu tổng quan về microservice, lợi ích khi xây dựng dự án sử dụng kiến trúc microservice, các nguyên lý khi xây dựng microservice, điểm mạnh điểm yếu của microservices, đồng thời giới thiệu series thực chiến xây dựng hệ thống microservices.

&lt;html&gt;&lt;body&gt;&lt;h2&gt;1. Microservices l&agrave; g&igrave;?&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;Microservices l&agrave; một kiến tr&uacute;c phần mềm bao gồm nhiều services nhỏ (micro-service). &Yacute; tưởng của microservices l&agrave; chia b&agrave;i to&aacute;n lớn th&agrave;nh nhiều b&agrave;i to&aacute;n nhỏ.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Kiến tr&uacute;c microservices kh&aacute; phổ biến hiện nay v&agrave; được nhiều c&ocirc;ng ty lớn sử dụng như: Netflix, eBay, Amazon, Twitter, PayPal,...&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Mỗi service trong kiến tr&uacute;c n&agrave;y l&agrave; mỗi module độc lập gi&uacute;p dễ d&agrave;ng ph&aacute;t triển, kiểm thử, mở rộng v&agrave; triển khai&hellip;&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-Mewjv7fi3suPq2CCAtJF0o301ALiBtXDl6TkhQTk.png&quot;&gt;&lt;/p&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;h2&gt;2. Lợi &iacute;ch của microservices?&lt;/h2&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-GUiY1ZOvBclZZJQsHuJmcENmljTDZcZcUs5aumJ2.png&quot;&gt; &nbsp;&lt;br&gt;&lt;br&gt;&nbsp;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;&lt;strong&gt;Linh động:&lt;/strong&gt; c&aacute;c services được tổ chức th&agrave;nh c&aacute;c modules độc lập ph&acirc;n t&aacute;n gi&uacute;p dễ d&agrave;ng ph&aacute;t triển, t&iacute;ch hợp v&agrave; triển khai từng phần (CI/CD).&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;&lt;strong&gt;Nhiều lựa chọn về c&ocirc;ng nghệ:&lt;/strong&gt; c&oacute; thể lựa chọn c&aacute;c kiến tr&uacute;c, c&ocirc;ng nghệ, ng&ocirc;n ngữ, cơ sở dữ liệu cho từng service.&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;V&iacute; dụ: c&oacute; thể tận dụng nguồn lực thế mạnh của nhiều team để &aacute;p dụng c&ocirc;ng nghệ ph&ugrave; hợp cho mỗi service. Service n&agrave;y sử dụng .net, sql server, service kh&aacute;c sử dụng nodejs, mongodb, cosmosdb...&lt;/p&gt;&lt;ul&gt;&lt;li&gt;&lt;strong&gt;Khả năng chịu lỗi:&lt;/strong&gt; Khi một hoặc một v&agrave;i service xảy ra lỗi th&igrave; c&aacute;c services kh&aacute;c kh&ocirc;ng hoặc &iacute;t bị ảnh hưởng. Đảm bảo to&agrave;n hệ thống vẫn vận h&agrave;nh được. Khi sửa lỗi chỉ sửa lỗi ở đ&uacute;ng service đ&oacute; do c&aacute;c service được thiết kế độc lập, &iacute;t phụ thuộc v&agrave;o nhau nhất c&oacute; thể.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;&lt;strong&gt;Tối ưu hiệu quả về chi ph&iacute;:&lt;/strong&gt; tối ưu v&agrave; chia nhỏ chi ph&iacute; cho từng service nhỏ thay v&igrave; một ứng dụng lớn.&nbsp;&nbsp;&nbsp;&lt;br&gt;V&iacute; dụ: service cần lưu trữ dung lượng database, file.. th&igrave; ta sẽ scale tr&ecirc;n ri&ecirc;ng service đ&oacute;, hoặc đ&ocirc;i l&uacute;c c&oacute; thể tận dụng nhiều c&ocirc;ng nghệ miễn ph&iacute; cho c&aacute;c service nhỏ.&nbsp;&nbsp;&lt;br&gt;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;3. So s&aacute;nh monolithic v&agrave; microservices&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;&lt;strong&gt;Monolithic&lt;/strong&gt;&nbsp;&nbsp;&lt;br&gt;&lt;br&gt;&lt;ul&gt;&lt;li&gt;Tập trung to&agrave;n bộ v&agrave;o một ứng dụng lớn, dự &aacute;n lớn th&igrave; team size v&agrave; soure code sẽ ph&igrave;nh to ra.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Việc triển khai (deployment) sẽ đơn giản do to&agrave;n bộ tập trung v&agrave;o một dự &aacute;n.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Kiến tr&uacute;c truyền thống, dễ tiếp cận.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Qu&aacute; tr&igrave;nh deployment kh&ocirc;ng linh hoạt, thời gian build ứng dụng sẽ l&acirc;u, khi c&oacute; một thay đổi nhỏ cũng phải build lại to&agrave;n bộ ứng dụng.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Kh&oacute; khăn trong việc kiểm tra lỗi v&agrave; bảo tr&igrave; do c&aacute;c modules, services trong dự &aacute;n phụ thuộc chặt chẽ v&agrave;o nhau (coupling code).&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Gặp vấn đề về khả năng chịu lỗi. Khi bị bất kỳ một lỗi n&agrave;o th&igrave; c&oacute; khả năng to&agrave;n bộ ứng dụng bị chết.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Khả năng mở rộng hạn chế do tập trung một khối lớn.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Kh&oacute; &aacute;p dụng nhiều c&ocirc;ng nghệ v&agrave;o dự &aacute;n.&lt;/li&gt;&lt;/ul&gt;&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;p&gt;&lt;strong&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-q3M6Qc9vOBMnX5mcuzaZsL99ieLtelloX59KhL0a.png&quot;&gt;&lt;/strong&gt;&lt;/p&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;&lt;strong&gt;Microservices&lt;/strong&gt;&nbsp;&nbsp;&lt;br&gt;&lt;br&gt;&lt;ul&gt;&lt;li&gt;Chia nhỏ ứng dụng th&agrave;nh c&aacute;c services nhỏ hơn. &Yacute; tưởng của microservices l&agrave; chia b&agrave;i to&aacute;n lớn th&agrave;nh c&aacute;c b&agrave;i to&aacute;n nhỏ.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;C&aacute;c services được x&acirc;y dựng độc lập, c&oacute; khả năng ph&aacute;t triển, kiểm lỗi v&agrave; triển khai độc lập.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;C&aacute;c team l&agrave;m việc độc lập tr&ecirc;n từng services, từng features.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;&nbsp;&Aacute;p dụng c&aacute;c c&ocirc;ng nghệ, ng&ocirc;n ngữ kh&aacute;c nhau v&agrave;o từng services.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Khả năng chịu lỗi tốt do c&aacute;c service độc lập, một service bị lỗi th&igrave; to&agrave;n hệ thống c&oacute; khả năng vẫn hoạt động được v&agrave; dễ d&agrave;ng sửa lỗi đ&uacute;ng service đ&oacute;.&lt;/li&gt;&lt;/ul&gt;&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-vRHmvtjLk6G4z9cXcw4wF248JGhu7rkr6Aj4xlNs.png&quot;&gt;&lt;/p&gt;&lt;h2&gt;4. Ưu v&agrave; nhược điểm của microservices&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/h2&gt;&lt;h3&gt;&lt;strong&gt;Ưu điểm&lt;/strong&gt;&lt;/h3&gt;&lt;ul&gt;&lt;li&gt;Chia nhỏ hệ thống lớn th&agrave;nh c&aacute;c services nhỏ độc lập n&ecirc;n dễ d&agrave;ng ph&aacute;t triển, bảo tr&igrave; v&agrave; triển khai độc lập.&lt;/li&gt;&lt;li&gt;Dễ d&agrave;ng cho c&aacute;c th&agrave;nh vi&ecirc;n mới khi tham gia v&agrave;o dự &aacute;n, chỉ cần học c&aacute;c service nhỏ.&lt;/li&gt;&lt;li&gt;Khả năng kiểm so&aacute;t lỗi tốt, một hoặc v&agrave;i services bị lỗi thị hệ thống kh&ocirc;ng bị crash.&lt;/li&gt;&lt;li&gt;C&oacute; thể lựa chọn nhiều c&ocirc;ng nghệ kh&aacute;c nhau cho từng services.&lt;/li&gt;&lt;li&gt;Khả năng mở rộng linh hoạt, khi cần scale module, feature n&agrave;o th&igrave; scale service tương ứng.&lt;/li&gt;&lt;/ul&gt;&lt;h3&gt;&lt;strong&gt;Nhược điểm&lt;/strong&gt;&lt;/h3&gt;&lt;ul&gt;&lt;li&gt;Kiến tr&uacute;c phức tạp, đ&ograve;i hỏi phải c&oacute; kiến thức chuy&ecirc;n s&acirc;u về devops (CI/CD) để c&oacute; thể triển khai c&aacute;c services nhỏ trong một hệ thống lớn&lt;/li&gt;&lt;li&gt;Kh&oacute; để đồng bộ v&agrave; thống nhất giữa c&aacute;c services (dữ liệu, m&atilde; nguồn, con người trong c&aacute;c team..), cần phải ch&uacute; &yacute; việc giao tiếp giữa c&aacute;c services sao cho hiệu quả.&lt;/li&gt;&lt;li&gt;Kh&oacute; đảm bảo sự to&agrave;n vẹn v&agrave; nhất qu&aacute;n dữ liệu giữa c&aacute;c services do mỗi service sử dụng một database ri&ecirc;ng.&nbsp;&nbsp;&lt;br&gt;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;5. C&aacute;c nguy&ecirc;n l&yacute; khi x&acirc;y dựng service trong microservices&nbsp;&lt;/h2&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-J1NR21J9UiZ0pCvFU35ifBXiwbyrMrUAF1vylsYV.png&quot;&gt;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;Một service chỉ n&ecirc;n xử l&yacute; một nhiệm vụ ch&iacute;nh duy nhất.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Mỗi service phải độc lập, c&oacute; khả năng đ&oacute;ng g&oacute;i v&agrave; triển khai độc lập. (CI/CD)&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;C&oacute; thể di chuyển c&aacute;c services từ m&ocirc;i trường n&agrave;y sang m&ocirc;i trường kh&aacute;c dễ d&agrave;ng, thuận tiện cho việc t&iacute;ch hợp v&agrave; triển khai.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Mỗi service n&ecirc;n c&oacute; dữ liệu của ri&ecirc;ng n&oacute;, kh&ocirc;ng n&ecirc;n chứa dữ liệu của c&aacute;c service kh&aacute;c. Nếu c&aacute;c service muốn chia sẻ dữ liệu th&igrave; n&ecirc;n giao tiếp qua c&aacute;c public interface.&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;li&gt;Khi một service bị lỗi th&igrave; kh&ocirc;ng ảnh hưởng đến to&agrave;n hệ thống. C&oacute; thể dễ d&agrave;ng hủy v&agrave; tạo lại service theo y&ecirc;u cầu.&nbsp;&nbsp;&lt;br&gt;&lt;br&gt;&nbsp;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;6. Giới thiệu về series thực chiến x&acirc;y dựng hệ thống microservices&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;Phần 1 chủ yếu l&yacute; thuyết tổng quan về kiến tr&uacute;c microservices. Hiểu được kh&aacute;i niệm v&agrave; tư tưởng.&lt;/li&gt;&lt;li&gt;Phần 2 sẽ giới thiệu cấu tr&uacute;c dự &aacute;n microservices. Đồng thời x&acirc;y dựng 2 services đầu ti&ecirc;n l&agrave; product (.net 6 + mySql) v&agrave; customer (.net 6 Minimal API + PostgreSQL)&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-qLj1llkf735WjoFuThx1oA7ZYt6xYxlMfY2ejItU.png&quot;&gt;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;Phần 3 nội dung về Clean Architecture v&agrave; CQRS pattern. Đồng thời x&acirc;y dựng 3 service: basket service (.net 6 + redis), order service (.net 6 + sql server) v&agrave; email service.&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-aiMfOSPBsazfROOz1eOttNvaK4PaJCrcByXRxrjk.png&quot;&gt;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;Phần 4 nội dung tập trung v&agrave;o c&aacute;ch c&aacute;c micro service giao tiếp với nhau. Phần n&agrave;y m&igrave;nh sẽ giới thiệu về RabbitMQ v&agrave; Kaffka. T&iacute;ch hợp RabbitMQ v&agrave;o hệ thống hiện tại cho quy tr&igrave;nh đặt h&agrave;ng - 2 services Basket v&agrave; Order sẽ giao tiếp với nhau.&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-NYxyyimZvdGmiBWMw58hKfsboBCN5aJV7omqOXOx.png&quot;&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-wGUMGuu8WLpsYAJ1Lc0B3FL0dulfQ6X3nvWtd7S7.png&quot;&gt;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;Phần 5 về API Gateway (Ocelot) trong microservices&nbsp;&nbsp;&lt;br&gt;&lt;img src=&quot;https://api.careers.saigontechnology.com/storage/ck-editor/CKEDITOR-UMvqaAIhhxwHKr3oKiPVz5ajX8ck5lbhFolqhPEA.png&quot;&gt;&lt;/li&gt;&lt;li&gt;Phần cuối l&agrave; một số nội dung kh&aacute;c về micorservices như quản l&yacute; transaction giữa c&aacute;c services, xử l&yacute; logging cho c&aacute;c request giữa c&aacute;c service, health check v&agrave; retry (polly),.&hellip;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;7. Tổng kết&nbsp;&nbsp;&lt;br&gt;&nbsp;&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;Vậy l&agrave; ch&uacute;ng ta đ&atilde; đi qua tổng quan về microservices v&agrave; giới thiệu về nội dung tiếp theo trong series thực chiến x&acirc;y dựng hệ thống microservices.&lt;/li&gt;&lt;li&gt;Cảm ơn mọi người đ&atilde; xem b&agrave;i viết. Ch&uacute;c mọi người một cuối tuần vui vẻ.&lt;/li&gt;&lt;li&gt;Nếu c&oacute; thắc mắc về c&aacute;c phần trong b&agrave;i n&agrave;y mọi người c&oacute; thể inbox qua mail:&nbsp;&lt;a href=&quot;mailto:long.nguyendh@saigontechnology.com&quot;&gt;&lt;u&gt;long.nguyendh@saigontechnology.com&lt;/u&gt;&lt;/a&gt;. M&igrave;nh sẽ giải đ&aacute;p thắc mắc trong tầm hiểu biết. Cảm ơn mọi người.&lt;/li&gt;&lt;/ul&gt;&lt;p&gt;&nbsp;&lt;/p&gt;&lt;p&gt;&lt;strong&gt;References&lt;/strong&gt;&lt;/p&gt;&lt;ul&gt;&lt;li&gt;&lt;a href=&quot;https://learn.microsoft.com/en-us/azure/architecture/guide/architecture-styles/microservices&quot;&gt;&lt;u&gt;Microservice architecture - Azure&lt;/u&gt;&lt;/a&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://learn.microsoft.com/en-us/dotnet/architecture/microservices/architect-microservice-container-applications/microservices-architecture&quot;&gt;&lt;u&gt;Microservices architecture | Microsoft Learn&lt;/u&gt;&lt;/a&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://learn.microsoft.com/en-us/dotnet/architecture/microservices/architect-microservice-container-applications/direct-client-to-microservice-communication-versus-the-api-gateway-pattern&quot;&gt;&lt;u&gt;The API gateway pattern versus the direct client-to-microservice communication | Microsoft Learn&lt;/u&gt;&lt;/a&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://rabbitmq.com/&quot;&gt;&lt;u&gt;https://rabbitmq.com/&lt;/u&gt;&lt;/a&gt;&lt;/li&gt;&lt;li&gt;&lt;u&gt;https://kafka.apache.org/&lt;/u&gt;&lt;/li&gt;&lt;/ul&gt;&lt;/body&gt;&lt;/html&gt;

Tổng quan về Microservices (Phần 1)

Cài đặt môi trường làm việc cho dự án microservices với docker, xây dựng cấu trúc ban đầu cho dự án, triển khai logging và product service, containerize cho product.service.

Thực chiến xây dựng kiến trúc dự án Microservices và triển khai Product Service (phần 2)

In the previous section (part 2), I provided an overview of how to set up a working environment using Docker containers and build a Product Service. In this section (part 3), we will shift our focus to building Customer Service using .NET, Minimal API, and PostgreSQL.

Phong Le