Năm 1882, thực dân Pháp đánh thành Hà Nội lần thứ hai. Sau khi chiếm đóng Hà Nội, họ quy hoạch lại khu vực phố cổ, xây khu phố mới theo kiểu châu Âu. Năm 1885, việc xây dựng phố Hàng Khảm hoàn thành và đây chính là “phố Tây” đầu tiên của Hà Nội. Trước đó, phố Hàng Khảm chỉ là con đường đất hẹp, bắt đầu từ khu vực Đồn Thủy đến cuối phố Hàng Khay ngày nay. Hai bên đường rải rác có cửa hàng bán đồ khảm trai nên người Pháp gọi là phố Thợ Khảm (Incrusteurs). Năm 1890, đốc lý Hà Nội đã lấy tên Thống sứ Bắc kỳ Paul Bert đặt cho phố này. Ngày 1-12-1945, Chủ tịch Ủy ban Hành chính thành phố Trần Duy Hưng đã ký quyết định chia Paul Bert thành hai, gồm phố Tràng Tiền (từ Nhà hát Lớn đến ngã tư Đinh Tiên Hoàng ngày nay) và Hàng Khay (từ ngã tư Đinh Tiên Hoàng đến đầu phố Bà Triệu ngày nay).