Month: January 2016

হিস্টোগ্রাম নাকি বার চার্ট?

Post author By masnun
Post date January 20, 2016

ডাটা ভিজুয়ালাইজেশনের সময় আমরা প্রায়শই হিস্টোগ্রাম ও বার চার্ট এর ব্যবহার দেখবো । বার চার্ট এবং হিস্টোগ্রাম দেখতে অনেকটা একই রকম । দুটোতেই আমরা লম্বা লম্বা বার আকিঁ । x-axis এ ইন্ডিপেন্ডেন্ট ভ্যারিয়েবল ও y-axis এ ডিপেন্ডেন্ট ভ্যারিয়েবল এর মান বসিয়ে দিয়ে আমরা সুন্দর করে হিস্টোগ্রাম ও বার চার্ট একেঁ ফেলি ।

দেখতে একই রকম হলেও দুটোর মধ্যে রয়েছে মৌলিক পার্থক্য । হিস্টোগ্রাম টা আমরা রেন্জ বা ডিস্ট্রিবিউশানের ক্ষেত্রে ব্যবহার করি । যেমন নিচের হিস্টোগ্রামটা দেখি:

এখানে আমরা দেখছি বিভিন্ন বয়সের মানুষ, যারা ছুটি কাটাতে যায় তাদের মধ্যে কতজন হোটেলে থাকে । আমরা খেয়াল করলে দেখবো, এখানে ২০ বছরের নিচে যারা, তাদের মধ্যে ৫ জন হোটেলে থাকে, ২১-৩০ এর মধ্যে ১৫ জন, ৩১-৪০ এর মধ্যে আছে ১০ জন এবং ৪১-৫০ বয়সীদের মধ্যে ৫ জন এর কম ।

লক্ষ্য করি, এখানে আমাদের ডাটা নিউমেরিক্যাল এবং আমরা রেন্জ নিয়ে কাজ করছি – বয়সের রেন্জ । বিভিন্ন বয়সের মানুষকে নির্দিষ্ট কিছু রেন্জে আমরা ডিস্ট্রিবিউট করেছি । এখানে ডাটার এই রেন্জে কোন গ্যাপ নেই । এবং হিস্টোগ্রামের পার্টগুলোকে বা বার গুলোকে অন্য কোন অর্ডারে রি-এ্যারেন্জ করার সুযোগ নেই ।

এবার দেখি একটি বার চার্ট:

এই চার্টে আমরা দেখছি বিভিন্ন ব্র্যান্ডের গাড়ি নির্মাতাদের জানুয়ারী মাসে বিক্রিত গাড়ির সংখ্যা । এখানে প্রধান লক্ষনীয় বিষয় হলো এইবার আমাদের ডাটা কিন্তু নিউমেরিক্যাল না, বরং ক্যাটেগরিক্যাল । বিভিন্ন ব্র্যান্ডের মধ্যে তুলনা করতে আমরা এই বার চার্টটি ব্যবহার করতে পারি । বার চার্টের ক্ষেত্রে বার গুলোকে রি-এ্যারেন্জ করলেও কোন সমস্যা হয় না । এবং বার গুলো একটা আরেকটার সাথে কানেক্টেড না, মাঝ খানে তাই গ্যাপ থাকে ।

TL;DR – হিস্টোগ্রাম একটা ভ্যারিয়েবলের ডিস্ট্রিবিউশান রিপ্রেজেন্ট করার জন্য ব্যবহার করা হয়, বার চার্ট বিভিন্ন ভ্যারিয়েবলের মধ্যে তুলনা করার জন্য ব্যবহার করা হয় ।

Python

Embedding IPython in your application

Post author By masnun
Post date January 15, 2016
2 Comments on Embedding IPython in your application

If you work with Python regularly, you probably know about IPython already. IPython has web based notebooks, QT based GUI consoles and plain old simple Terminal based REPL which is simply fantastic. But that’s not all, we can also embed IPython in our applications too. And this can lead to a number of potential use cases.

Use Cases

A common use case could be to drop into a IPython shell for quick interactive debugging. This can come very handy during prototyping.

Let’s see an example:

import IPython

name = "Masnun"

IPython.embed()

import IPython

name = "Masnun"

IPython.embed()

When we run this code, we will get a nice IPython REPL where we can try out things. In our case, we haven’t done much except defining a variable named name. We can print it out.

In [1]: print(name)
Masnun

1 2	In [1]: print(name) Masnun

I use Iron.io workers/queues/caches at my day to day job. So I often need to check status of the workers or get the size of a queue or even queue a few workers. I also need to check a few records on Mongodb. An interactive prompt can be really helpful for these.

import IPython

from iron_worker import IronWorker
from iron_mq import IronMQ
from iron_worker import Task
from pymongo import MongoClient


worker = IronWorker(project_id="PROJECT_ID", token="TOKEN")
mq = IronMQ(project_id="PROJECT_ID", token="TOKEN")
mongo = MongoClient("MONGOURL")


def launch_workers(name, number=1):
    for x in range(number):
        task = Task(code_name=name)
        worker.queue(task)
    print("Launched {} workers for {}".format(name, number))


def top_buyers():
    customers_collection = mongo.shop.customers
    query = {
        "purchases": {"$gte": 100}

    }

    print(customers_collection.find(query).count())


IPython.embed()

import IPython

from iron_worker import IronWorker

from iron_mq import IronMQ

from iron_worker import Task

from pymongo import MongoClient

worker = IronWorker(project_id="PROJECT_ID", token="TOKEN")

mq = IronMQ(project_id="PROJECT_ID", token="TOKEN")

mongo = MongoClient("MONGOURL")

def launch_workers(name, number=1):

for x in range(number):

task = Task(code_name=name)

worker.queue(task)

print("Launched {} workers for {}".format(name, number))

def top_buyers():

customers_collection = mongo.shop.customers

query = {

"purchases": {"$gte": 100}

}

print(customers_collection.find(query).count())

IPython.embed()

Now I can just do launch_workers("send_emails", 3) to launch 3 worker instances for the “send_emails” worker. Or get the number of buyers with more than 100 purhcases with the top_buyers() function.

Customizing The Prompt

When we embed IPython, it displays it’s common banner when starting.

Python 2.7.8 (default, Nov 15 2014, 03:09:43)
Type "copyright", "credits" or "license" for more information.

IPython 2.3.1 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

Python 2.7.8 (default, Nov 15 2014, 03:09:43)

Type "copyright", "credits" or "license" for more information.

IPython 2.3.1 -- An enhanced Interactive Python.

? -> Introduction and overview of IPython's features.

%quickref -> Quick reference.

help -> Python's own help system.

object? -> Details about 'object', use 'object??' for extra details.

We can easily disable that. To do so, we need to pass empty string to the banner1 parameter to the embed method.

IPython.embed(banner1="")

1	IPython.embed(banner1="")

Or we can further customize the 2nd banner or the exit message like this:

IPython.embed(
    banner1="Entering Debug Mode", 
    banner2="Here's another helpful message",
    exit_msg="Exiting the debug mode!"
)

IPython.embed(

banner1="Entering Debug Mode",

banner2="Here's another helpful message",

exit_msg="Exiting the debug mode!"

)

NodeJS

Deploying a NodeJS 5 app with nginx on Ubuntu

Post author By masnun
Post date January 1, 2016

In this blog post, we would follow the steps to deploy a NodeJS app using the latest version of Node with nginx on Ubuntu.

Installing Node.js 5

The official repository on Ubuntu doesn’t ship the latest version of NodeJS yet. So we will use a third party source to install it from:

curl -sL https://deb.nodesource.com/setup_5.x | sudo -E bash -
sudo apt-get install -y nodejs

1 2	curl -sL https://deb.nodesource.com/setup_5.x \| sudo -E bash - sudo apt-get install -y nodejs

Using PM2

I love PM2 for keeping my node apps alive. If you didn’t know, PM2 is an awesome tool that launches Node processes and monitors them. If it crashes, it can restart them. PM2 is very easy to setup and use. It’s also quite feature packed.

We would setup PM2, launch our app with it and then generate a launch script so PM2 itself is started on system reboot.

npm install -g pm2 # Install PM2
pm2 start index.js # Start an app
pm2 startup ubuntu # Create a launch script for PM2

npm install -g pm2 # Install PM2

pm2 start index.js # Start an app

pm2 startup ubuntu # Create a launch script for PM2

Nginx Configuration

Now that the app is running, it’s time to setup nginx as our reverse proxy. Here’s the default configurations I use:

server {
    listen 80;


    location / {
        proxy_pass http://localhost:3000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

server {

listen 80;

location / {

proxy_pass http://localhost:3000;

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection 'upgrade';

proxy_set_header Host $host;

proxy_cache_bypass $http_upgrade;

}

Recent Posts

Recent Comments

Archives

Categories